Разработчики ИИ стали переходить на компактные ИИ-модели — они дешевле и экономичнее
Технологические гиганты и стартапы переходят на более компактные и эффективные модели искусственного интеллекта, стремясь сократить расходы и повысить производительность. Эти модели, в отличие от своих «старших братьев», таких как GPT-4, могут обучаться на меньшем объёме данных и специализируются на решении конкретных задач.
Microsoft, Google, Apple и стартапы, такие как Mistral, Anthropic и Cohere, всё чаще обращаются к малым и средним языковым моделям искусственного интеллекта. В отличие от больших моделей (LLM), таких как GPT-4 от OpenAI, которые используют более одного триллиона параметров и их разработка оценивается далеко за 100 миллионов долларов, компактные модели обучаются на более узких наборах данных и могут стоить менее 10 миллионов долларов, при этом используя менее 10 миллиардов параметров.
Компания Microsoft, один из лидеров в области ИИ, представила семейство небольших моделей под названием Phi. По словам генерального директора компании Сатьи Наделлы (Satya Nadella), эти модели в 100 раз меньше бесплатной версии ChatGPT, но при этом справляются со многими задачами почти так же эффективно. Юсуф Мехди (Yusuf Mehdi), коммерческий директор Microsoft, отметил, что компания быстро осознала, что эксплуатация крупных моделей ИИ обходится дороже, чем предполагалось изначально, что побудило Microsoft искать более экономичные решения.
Другие технологические гиганты также не остались в стороне. Google, Apple, а также Mistral, Anthropic и Cohere выпустили свои версии малых и средних моделей. Apple, в частности, планирует использовать такие модели для запуска ИИ локально, непосредственно на смартфонах, что должно повысить скорость работы и безопасность. При этом потребление ресурсов на смартфонах будет минимальным.
Эксперты отмечают, что для многих задач, таких как обобщение документов или создание изображений, большие модели вообще могут оказаться избыточными. Илья Полосухин, один из авторов основополагающей статьи Google в 2017 году, касающейся искусственного интеллекта, образно сравнил использование больших моделей для простых задач с поездкой в магазин за продуктами на танке. «Для вычисления 2 + 2 не должны требоваться квадриллионы операций», — подчеркнул он.
Компании и потребители также ищут способы снизить затраты на эксплуатацию генеративных технологий ИИ. По словам Йоава Шохама (Yoav Shoham), соучредителя ИИ-компании AI21 Labs из Тель-Авива, небольшие модели могут отвечать на вопросы, если перевести всё в деньги, всего за одну шестую стоимости больших языковых моделей.
Интересно, что ключевым преимуществом малых моделей является возможность их тонкой настройки под конкретные задачи и наборы данных. Это позволяет им эффективно работать в специализированных областях при меньших затратах, например, только в юридической отрасли.
Однако эксперты отмечают, что компании не собираются полностью отказываться от LLM. Например, Apple объявила об интеграции ChatGPT в Siri для выполнения сложных задач, а Microsoft планирует использовать последнюю модель OpenAI в новой версии Windows. А такие компании как Experian из Ирландии и Salesforce из США, уже перешли на использование компактных моделей ИИ для чат-ботов и обнаружили, что они обеспечивают такую же производительность, как и большие модели, но при значительно меньших затратах и с меньшими задержками обработки данных.
Переход к малым моделям происходит на фоне замедления прогресса в области больших публично доступных моделей искусственного интеллекта. Эксперты связывают это с нехваткой высококачественных новых данных для обучения, и в целом, указывают на новый и важный этап эволюции индустрии.
Источник:
Соблазнил бы, все верно, но не дал...
- у меня сняли деньги, хотел узнать причину.
- перевожу на менеджера баланса
- драсьте чем могу помочь.
- у меня сняли деньги, хотел узнать причину.
- перевожу на менеджера банковских операций
- драсьте чем могу помочь.
...
Если рассматривать эволюцию животного царства то узкоспециализированные животные часто вымирают.
https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%BE%D0%BA%D0%BE%D0%B4%D0%B8%D0%BB%D0%BE%D0%BC%D0%BE%D1%80%D1%84%D1%8B
В эволюции вообще весело
Лошади: потеют всем телом аки люди (уникальная фишка людей - хорошо потеть, хорошо охлаждаться, можно настигать лань не быстротой, но настойчивостью)
Но лошади потеют В ГРИВУ и потому воняют ой-ой-оййййй... Фууууу.
...
Крабы.
Морские гады просто любят независимо друг от друга превращаться в крабообразных существ. Это называют карценофикацией, ЕМНИП
...
Динозавры превратились в птиц и прочих рептилоидов, потому что гиганты повымирали. Но жили динозавры дооооолго. Некоторые до юрского периода появились и после юрского остались (но не мелового!)
"Карцинацией", в обратную сторону -- "декарцинация". Морские гады мотаются туда-сюда между формами "краба" и "рака" в зависимости от внешних условий.
Ищи "carcinization" и "decarcinization". Как простое описание на русском, можно прочитать https://elementy.ru/novosti_nauki/433998/Pochemu_evolyutsiya_prevrashchaet_rakov_v_krabov_a_krabov_v_rakov
Так и тут, какой-нибудь кризис экономики или производства полупроводников может внезапно убить большие модели; а для функций техподдержки клиентов банка сервер с чатГПТ может быть заменён какой-нибудь узко-специализированной нейронкой крутящейся на старом пентиуме.
Эмммм. На двухъядерный процессор, который также последний из пентиумов.
Подтягивание железа выглядит менее вероятным. А вот появление новых архитектур, работающих распределенно - тут вообще не предскажешь. Может, все уже запилено, пресс-релиз завтра утром, нейросетевая революция через месяц, через три - выкатят новое железо под это дело, чисто с более жирными интерфейсами, а через неделю после интерфейсов, прямо у майкрософта на новеньком 10к-титан-дистрибьюшн-эдишн-инстансе - наступит сингулярность.
Или это может будет в будуюещем.
Если такое действительно возможно, то не в жележе проблемма, надо ПО переписать всего-то.
"микросхема, разработанная исключительно для управления радиоканалом мобильного телефона"
Это можно сравнить с асиком для майнинга крипты?
Там же написано что асик хорошо делает то для чего его разработали.
Значит на микросхеме для управления радиоканалом можно запустить Дум, но не так хорошо как это можно сделать на асике для Дума.
Но майники показывают нам уровень оптимизации вычислений.
Раньше биткоин считали на картах. Потом появились майники и на картах считать биток перестали, потому что это не имело смысла. Электричества тратилось больше чем прибыль.
Но и сами асики за 10 лет показали впечатляющий рост производительности. Например Bitmain увеличил производительность асиков на джоуль энергии за 10 лет в 80+ раз. Почти на 2 порядка!
В типах вычислений.
>Это можно сравнить с асиком для майнинга крипты?
Можно.
Беда в том, что сейчас єти дохуялиардньіе комбайн-нейронки городят хуйню на хуйне в промьішленньіх масштабах. Общее направление в целом верное, но если брать частньіе случаи - пиздец
Но это всё - в ширину.
Чуть в глубину - и тут ты прав, просто городят хуйню. И это новой базой информации не решится - информация вся у нейронки есть, но думалка слабая.
В целом не понимаю о чем разговор. Микронейронки тренируют черти сколько лет даже школьники.
Логично что запрягать универсальную модель для ответа на вопросы линии поддержки смысла не имеет
Перевожу с корпоративного.
Мы самостоятельно не осилили конкурента жпт, плюс, это дорого, как пиздец. И мы не хотим отваливать грузовики баблища владельцам ллм, ещё и иметь геморрой с утечкой пользовательских данных на сторону(а юристы уже предупредили, что это колоссальный геморрой). Но у нас есть маленькие модели, и, в принципе, они как-то работают(всё равно хуй вы оцените качество). Мы вам их дадим.
За версией без рекламы - в отдел корпоративных лицензий. Там всего 100 баксов за каждый грамм чистого камня без рекламы в месяц.
Не, корпорации рады бы юзать одну большую модель для всего, но дорого, и стороннее. Что я и сказал. И действительно не добавляет денег, да и толку особо тоже.
Возможно, подними они число параметров на порядок, был-бы заметный скачок в качестве. Но но это уже не хватает никаких миллионов долларей и гиговатт. Приходится прекращать бросать деньги в печку и начинать думать. Думать, как сделать вместо
говнокодаговносетки, что жрёт море ресурсов а делает на стаканчик дел, что-то более оптимизированное. Но это не та оптимизация, к которой привыкли последние поколения разработчиков и поэтому им трудно. Очень трудно.Но найден вариант! Как и дальше творить хуйню, но не так дорого. Вместо одного, но умного, сделать тупого но узкого специалиста. Своего рода тоже оптимизация, только не туда. Ну может сотня-другая таких узких специалистов сможет сделать за отупевших живых программистов нормальный код для себя, и создать уже нормальную сетку. Кто знает.
Из хорошего: возможно Хуанг таки снова вспомнит что видеокарты для населения и игр а не для майнинга и ЦОДов под ИИ. И снизит, падла, цены на карты до уровня домайнинговых.
Наш мозг невероятно оптимиззирован для работы с низким энергопотреблением. А как эту же проблему должен решить ИИ -- понятия не имею
Оптимизация, это конечно хорошо, но даже весьма простенький алгоритм чат-бота жрёт порядочно ресурсов.
Не знаю. Боюсь, пока мы не откроем какой-либо принципиально новый способ хотя бы сохранения энергии, уже не говорю о её получении, боюсь Настоящий ИИ мы не увидим.
Оно оказывается не так уж далеко от действительности
А пальчиковую батарейку Морфеус показывает, пытаясь совсем-совсем простым языком объяснитьс помощью аналогии (так,чтобы понял зритель. Крутой программист уровня Нео же понял бы, что «им нужны наши нейроны» на раз-два)
Gptchat появился только в прошлом году. Еще даже специализированных чипов под это массово не производят, вроде на видеокартах считают. Это ж только самое начало. Там поле непаханное по оптимизации и повышения производительности
Контекст: когда в Лондоне XIX века делали канализацию, главный инженер потребовал вместо небольших (перекрывающих потребности с небольшим запасом) труб для сточных вод сделать трубы в 2 раза шире, ЕМНИП. Результат: без этого решения в 60х бы Лондон не вывез бы свои современные многоэташки. Хорошо ли это или плохо - другой вопрос