Бесплатный ИИ, который на деле влетит в копеечку: пара мыслей с IT-форума КИТ
Вышла я тут со сцены КИТ форума по искусственному интеллекту, а в голове крутится одна мысль про опенсорсный ИИ, которому было посвящено очень провокационное выступление.
Расскажу, почему я и за него, и одновременно бешусь, когда его подают как спасение всего человечества.
Сначала давайте поговорим, чем он реально хорош.
Открытый код — это честно. Веса лежат в открытом доступе, бери и смотри, что у модели внутри (еще бы понимать, что там написано, да? 🤣).
Никто не выключит тебе доступ по щелчку и не задерёт цену втрое, потому что им инвесторы задали трёпку.
Можно установить локально и гонять на собственном компьютере, что особенно актуально для тех, кто работает с чувствительными данными (привет подписчице Юлии и ее другу, который работает в оборонке, поэтому руководство списало ему расходы на железо, увидев пользу).
Вот это по-настоящему круто, потому что иначе команды с чувствительными данными остались бы ни с чем.
А теперь перейдем к тому, что мена слегка подбешивает.
Опенсорс продают как «бесплатно и для всех». Это, мягко говоря, не так.
«Открытый» и «доступный» — это две большие разницы. Потому что между «скачал» и «получил работающий инструмент» лежит пропасть!
Нужна видеокарта, нужно понимать, что такое дообучение (по-умному это называется fine-tuning), нужен набор данных, нужно время и нервы.
Зачем это вам для вашего ИИ-агента, которому нужно, условно, уметь читать и заполнять ваши налоговые декларации?
Для технаря это реально. Для обычного человека — это стена, об которую он расшибётся в первый же вечер!
Именно поэтому я даже клиентам с чувствительными данными советую сначала погонять топовые закрытые модели на синтетических (очищенных, не конфиденциальных данных), чтобы понять САМ ПРИНЦИП, а вот потом, когда они увидят реальную пользу, ставить модели локально под их нужды, чтобы данные никуда не утекали.
Дальше про «бесплатно». Действительно, скачать модель можно бесплатно, а вот крутить её — уже нет. Тебе надо где-то её разместить, платить за железо или за аренду сервера, обслуживать всё это хозяйство…
И по факту выходит, что подписка на готовый сервис за 20 долларов в месяц для большинства людей выходит и дешевле, и спокойнее, чем своя «бесплатная» модель, которая ест электричество и просит, чтобы ты по выходным был ей сисадмином!
Опенсорс хорош не тем, что каждый теперь побежит обучать свою нейросеть (хотя это очень весело и интересно, и в клубе у меня есть один большой вебинар про файнтюнинг).
Он хорош тем, что благодаря ему появляются десятки готовых штук, которые уже можно брать и пользоваться!
Тебе не нужно строить машину с нуля. Тебе нужно сесть за руль той, что уже собрали!
Вот это и есть моя позиция, если совсем коротко.
Я не учу вас обучать модели.
Я учу собирать инструменты из того, что уже лежит готовое, своими руками и за вечер. И опенсорс мне тут союзник ровно до того момента, пока его не начинают втюхивать как «теперь вы все должны стать разработчиками».