Разработчики ИИ стали переходить на компактные ИИ-модели — они дешевле и экономичнее / ИИ :: нейронные сети :: репост с 3DNEWS

репост с 3DNEWS ИИ нейронные сети 

Разработчики ИИ стали переходить на компактные ИИ-модели — они дешевле и экономичнее

Технологические гиганты и стартапы переходят на более компактные и эффективные модели искусственного интеллекта, стремясь сократить расходы и повысить производительность. Эти модели, в отличие от своих «старших братьев», таких как GPT-4, могут обучаться на меньшем объёме данных и специализируются на решении конкретных задач.

Microsoft, Google, Apple и стартапы, такие как Mistral, Anthropic и Cohere, всё чаще обращаются к малым и средним языковым моделям искусственного интеллекта. В отличие от больших моделей (LLM), таких как GPT-4 от OpenAI, которые используют более одного триллиона параметров и их разработка оценивается далеко за 100 миллионов долларов, компактные модели обучаются на более узких наборах данных и могут стоить менее 10 миллионов долларов, при этом используя менее 10 миллиардов параметров.

Компания Microsoft, один из лидеров в области ИИ, представила семейство небольших моделей под названием Phi. По словам генерального директора компании Сатьи Наделлы (Satya Nadella), эти модели в 100 раз меньше бесплатной версии ChatGPT, но при этом справляются со многими задачами почти так же эффективно. Юсуф Мехди (Yusuf Mehdi), коммерческий директор Microsoft, отметил, что компания быстро осознала, что эксплуатация крупных моделей ИИ обходится дороже, чем предполагалось изначально, что побудило Microsoft искать более экономичные решения.

Другие технологические гиганты также не остались в стороне. Google, Apple, а также Mistral, Anthropic и Cohere выпустили свои версии малых и средних моделей. Apple, в частности, планирует использовать такие модели для запуска ИИ локально, непосредственно на смартфонах, что должно повысить скорость работы и безопасность. При этом потребление ресурсов на смартфонах будет минимальным.

Эксперты отмечают, что для многих задач, таких как обобщение документов или создание изображений, большие модели вообще могут оказаться избыточными. Илья Полосухин, один из авторов основополагающей статьи Google в 2017 году, касающейся искусственного интеллекта, образно сравнил использование больших моделей для простых задач с поездкой в магазин за продуктами на танке. «Для вычисления 2 + 2 не должны требоваться квадриллионы операций», — подчеркнул он.

Компании и потребители также ищут способы снизить затраты на эксплуатацию генеративных технологий ИИ. По словам Йоава Шохама (Yoav Shoham), соучредителя ИИ-компании AI21 Labs из Тель-Авива, небольшие модели могут отвечать на вопросы, если перевести всё в деньги, всего за одну шестую стоимости больших языковых моделей.

Интересно, что ключевым преимуществом малых моделей является возможность их тонкой настройки под конкретные задачи и наборы данных. Это позволяет им эффективно работать в специализированных областях при меньших затратах, например, только в юридической отрасли.

Однако эксперты отмечают, что компании не собираются полностью отказываться от LLM. Например, Apple объявила об интеграции ChatGPT в Siri для выполнения сложных задач, а Microsoft планирует использовать последнюю модель OpenAI в новой версии Windows. А такие компании как Experian из Ирландии и Salesforce из США, уже перешли на использование компактных моделей ИИ для чат-ботов и обнаружили, что они обеспечивают такую же производительность, как и большие модели, но при значительно меньших затратах и с меньшими задержками обработки данных.

Переход к малым моделям происходит на фоне замедления прогресса в области больших публично доступных моделей искусственного интеллекта. Эксперты связывают это с нехваткой высококачественных новых данных для обучения, и в целом, указывают на новый и важный этап эволюции индустрии.

Источник:

https://3dnews.ru/1107613/v-mire-ii-nametilas-novaya-tendentsiya-kompanii-stali-perehodit-na-kompaktnie-i-deshyovie-iimodeli


Подробнее
репост с 3DNEWS,ИИ,нейронные сети
Еще на тему
Развернуть
Теперь понятно, почему "Скайнет" такой тупой - оптимизация ресурсов при обучении.
Metracryg Metracryg 07.07.202422:46 ответить ссылка 19.2
Даже военный бюджет США не резиновый
скайнет туп пропорционально мясному сопротивлению, это оптимизация, это знать надо
Ahiru Ahiru 07.07.202423:15 ответить ссылка 8.8
соглы, обычный японский школьник запилил бы реальное дерево
Ahiru Ahiru 07.07.202423:14 ответить ссылка 7.0
заодно спас вселенную и соблазнил топовую принцессу, но это так, побочка
dstwo dstwo 08.07.202401:20 ответить ссылка 4.6
Соблазнил? Он бы скорее тупил как идиот, пока она чуть ли не посадочную полосу к своей промежности перед ним стелила.

Соблазнил бы, все верно, но не дал...

Мож он без папки рос и теперь не врубается в эти ваши «ответственность»
26994 26994 08.07.202409:18 ответить ссылка 0.2
Боромир запилил бы лес, развёл костёр и спас вселенную от тепловой смерти!
Vetala Vetala 08.07.202408:45 ответить ссылка 2.7
эволюция не всегда идёт путём усложнения. Как указывается в статье, простые модели оказываются не менее приспособленными и при этом более энергоэффективными, успех успехов
- драсьте чем могу помочь.
- у меня сняли деньги, хотел узнать причину.
- перевожу на менеджера баланса
- драсьте чем могу помочь.
- у меня сняли деньги, хотел узнать причину.
- перевожу на менеджера банковских операций
- драсьте чем могу помочь.
...
NKRF NKRF 08.07.202402:37 ответить ссылка 6.1
это уже на стыке знаний и под приведённые примеры не подходит. Тут оставят модель, которая может ответить клиенту на любой банковский вопрос. А если модель нужна бухгалтеру вести бухгалтерские дела, отвечать на клиентские банковские вопросы она может и не уметь, ей не надо
Деградация часть эволюции. Ведь формулировка звучит "выживает самый приспособленный", а не "выживает самый сложный"
dstwo dstwo 08.07.202401:21 ответить ссылка 12.1
А чем они приспосабливаются ? Наоборот человеки приспосабливаются создавать правильные запросы.
NKRF NKRF 08.07.202402:40 ответить ссылка -2.7
Приспособленный не значит простой.
Если рассматривать эволюцию животного царства то узкоспециализированные животные часто вымирают.
Teijo Teijo 08.07.202408:18 ответить ссылка 0.3
А, так то что я дилетант широкого профиля это эволюционное преимущество!
Если всё так, то твой чердак пуст. Это и хорошо, и плохо. Но для тебя не всё ещё потеряно!
robby robby 08.07.202408:52 ответить ссылка 3.6
И широкоспециализированные вымрут. Но потом.
dstwo dstwo 08.07.202408:54 ответить ссылка 3.3
Сколько всякой хуеты повымирало, а крокодилы как жили, так и живут
А чего огорчать.

В эволюции вообще весело

Лошади: потеют всем телом аки люди (уникальная фишка людей - хорошо потеть, хорошо охлаждаться, можно настигать лань не быстротой, но настойчивостью)

Но лошади потеют В ГРИВУ и потому воняют ой-ой-оййййй... Фууууу.


...

Крабы.
Морские гады просто любят независимо друг от друга превращаться в крабообразных существ. Это называют карценофикацией, ЕМНИП

...

Динозавры превратились в птиц и прочих рептилоидов, потому что гиганты повымирали. Но жили динозавры дооооолго. Некоторые до юрского периода появились и после юрского остались (но не мелового!)
26994 26994 08.07.202409:26 ответить ссылка 0.4
> Это называют карценофикацией, ЕМНИП
"Карцинацией", в обратную сторону -- "декарцинация". Морские гады мотаются туда-сюда между формами "краба" и "рака" в зависимости от внешних условий.
Блядь, да хватит слова придумывать, их даже гугл не ищет!
Гугл вообще за пределами ректамы и английского хреново ищет.
Ищи "carcinization" и "decarcinization". Как простое описание на русском, можно прочитать https://elementy.ru/novosti_nauki/433998/Pochemu_evolyutsiya_prevrashchaet_rakov_v_krabov_a_krabov_v_rakov
Уменьшение издержек или заточка под конкретную нишу - это тоже пути эволюции. Про второе можно глянуть всё разнообразие клювов у птиц или цветков у растений. А первому мы сами обязаны жизнью, так как наши экономные предки выдерживали кризисы приводящие к массовому вымиранию, а всякие "жирные" и мощные животные внезапно кончались.

Так и тут, какой-нибудь кризис экономики или производства полупроводников может внезапно убить большие модели; а для функций техподдержки клиентов банка сервер с чатГПТ может быть заменён какой-нибудь узко-специализированной нейронкой крутящейся на старом пентиуме.
>на старом пентиуме

Эмммм. На двухъядерный процессор, который также последний из пентиумов.
26994 26994 08.07.202413:05 ответить ссылка 0.0
Это где такие охуевшие школьники живут? Нас обучали только включать комп и писать всякую хуйню в Ворде.
A117 A117 08.07.202409:57 ответить ссылка 1.0
А когда я говорил что будут юзать узкоспециализированные нейронки мне минусов накидали и куча коментов с объяснениями что я тупой и ничего не понимаю
kosoi kosoi 07.07.202423:35 ответить ссылка 16.0
Ок. Делаем 1000 нейронок по узким специализациям, вместо одной глобальной, которая в 1000 раз больше. Для маленьких компаний из гаража да, выход. Для гигантов....прогрев и очередные отчеты перед инвесторами.
Cave Cave 07.07.202423:40 ответить ссылка 0.1
И ещё одну специализированную, для поиска нужной тебе нейронки...
ГПТ ЧАТрулетка :д
26994 26994 08.07.202409:26 ответить ссылка 1.4
Вообще я думаю, что развитие нейронок сильно замедлится в ближайшем будущем, потому что бурный рост их был обусловлен тем, что сначала создали для пробы модели с не очень большим количеством параметров, а потом резко нарастили их и получили прирост качества за счёт количества. Но мы быстро упёрлись в ограничения железа - разрабатывать большие модели дорого и долго, к тому же ещё и больше ресурсов требует их использование. Так что я бы не ожидал существенного скачка в развитие нейросеток в ближайшее время, пока железо не подтянется, скорее будут делать узкоспециализированные модели, экспериментировать с архитектурами и тп
>пока железо не подтянется
Подтягивание железа выглядит менее вероятным. А вот появление новых архитектур, работающих распределенно - тут вообще не предскажешь. Может, все уже запилено, пресс-релиз завтра утром, нейросетевая революция через месяц, через три - выкатят новое железо под это дело, чисто с более жирными интерфейсами, а через неделю после интерфейсов, прямо у майкрософта на новеньком 10к-титан-дистрибьюшн-эдишн-инстансе - наступит сингулярность.
Возможно, крипта это и есть та самая расспределенная архитектура.
Или это может будет в будуюещем.
Teijo Teijo 08.07.202408:24 ответить ссылка -0.4
Кто то уже толкал телегу что мол асики от биткоинмайнеров можно для нейронок заюзать, но что то мне подсказывает что нельзя и это всё прогрев лохов
kosoi kosoi 08.07.202408:53 ответить ссылка 0.1
Хз, не вникал в архитектуру асиков, но меня забавляет когда кто-то говорит что какое-то железо нельзя использовать для какого-то програмного обеспечения.
Если такое действительно возможно, то не в жележе проблемма, надо ПО переписать всего-то.
Teijo Teijo 08.07.202409:49 ответить ссылка 1.2
Ну статья ведь ни о чем. Асик для майнинга делает вычисления, он не может делать вычисления для нейронки? в чём разница?
"микросхема, разработанная исключительно для управления радиоканалом мобильного телефона"
Это можно сравнить с асиком для майнинга крипты?
Там же написано что асик хорошо делает то для чего его разработали.
Значит на микросхеме для управления радиоканалом можно запустить Дум, но не так хорошо как это можно сделать на асике для Дума.
Teijo Teijo 08.07.202410:17 ответить ссылка -1.8
Почти для каждой крипты майники специализированные, их не переделать это точно.
Но майники показывают нам уровень оптимизации вычислений.
Раньше биткоин считали на картах. Потом появились майники и на картах считать биток перестали, потому что это не имело смысла. Электричества тратилось больше чем прибыль.

Но и сами асики за 10 лет показали впечатляющий рост производительности. Например Bitmain увеличил производительность асиков на джоуль энергии за 10 лет в 80+ раз. Почти на 2 порядка!
vlkam vlkam 08.07.202411:45 ответить ссылка 0.0
>в чём разница?
В типах вычислений.

>Это можно сравнить с асиком для майнинга крипты?
Можно.
Основная проблема развития нейронок - весь интернет им уже скормлен. Теперь новую информацию для них можно только писать вручную, особенно учитывая то, что некоторые авторы после старта нейроистерии начали специально встраивать в свои работы параметры, портящие наборы данных.
yoburg yoburg 08.07.202403:30 ответить ссылка 2.7
Прежде всего, большие модели упёрлись не в железо (его ещё можно нарастить), а в отсутствие входных данных. Сейчас они уже сожрали большую часть доступных данных; для следующего скачка входных данных понадобится в разы больше, а их уже нет. Вот, сейчас думают над оцифровыванием аудио от роликов в ютубе...
Как показывает практика, хороший датасет лучше большого, но посредственного качества. И да, действительно модели с меньшим датасетом и меньшим количеством параметров могут работать не хуже чем большие модели в рамках своей специализации. Хотя у них будет меньше гибкости и потенциала.
Там сейчас планируют дата центры стоймостью 100+ миллиардов каждый

Беда в том, что сейчас єти дохуялиардньіе комбайн-нейронки городят хуйню на хуйне в промьішленньіх масштабах. Общее направление в целом верное, но если брать частньіе случаи - пиздец

Они превосходно пиздят. А также, дают хорошие и прекрасно сформированные ответы на простые вопросы и задачи, которые в Гугле надо ещё раскопать и адаптировать.
Но это всё - в ширину.
Чуть в глубину - и тут ты прав, просто городят хуйню. И это новой базой информации не решится - информация вся у нейронки есть, но думалка слабая.
- Внутре смотрите, где у нее анализатор и думатель. (С)
это не связано с твоей правотой, у нас так принято
IceGar IceGar 08.07.202401:04 ответить ссылка 4.8
Ты на реакторе, расслабься. Мы не управляем миром. К счастью это делают люди поумнее нас.
dstwo dstwo 08.07.202401:22 ответить ссылка -2.3
Ну там же не дураки сидят!
Естественно -- кто ж туда простых дураков пустит? Так сертифицированные дебилы, не меньше...
Напиши об этом Янсу)
Это реактор, тут люди часто оторваны от реальности.
В целом не понимаю о чем разговор. Микронейронки тренируют черти сколько лет даже школьники.
Логично что запрягать универсальную модель для ответа на вопросы линии поддержки смысла не имеет
vlkam vlkam 08.07.202410:06 ответить ссылка 0.0

Перевожу с корпоративного.

Мы самостоятельно не осилили конкурента жпт, плюс, это дорого, как пиздец. И мы не хотим отваливать грузовики баблища владельцам ллм, ещё и иметь геморрой с утечкой пользовательских данных на сторону(а юристы уже предупредили, что это колоссальный геморрой). Но у нас есть маленькие модели, и, в принципе, они как-то работают(всё равно хуй вы оцените качество). Мы вам их дадим.

А камень дадите?
Конечно. Камень по подписке, всего 300 баксов в месяц.
С ежедневными обновлениями?
dstwo dstwo 08.07.202401:23 ответить ссылка 0.9
И рекламой.
За версией без рекламы - в отдел корпоративных лицензий. Там всего 100 баксов за каждый грамм чистого камня без рекламы в месяц.
Дайте тонну, заказчик платит
dstwo dstwo 08.07.202408:52 ответить ссылка 1.1
С вами приятно работать, приходите, когда найдете ещё одного ло.. заказчика.
Будет обрастать мхом каждый месяц
Да не, просто пользы от этого chat gpt нет особо. А гонять его стоит просто нереальных денег. Поиграться с ним весело, конечно, но денег оно не приносит. Генерить условный код лучше более специализированной сеточкой - зачем ей знать про средневековых поэтов, древних философах и современных поп исполнителях?
wataru wataru 08.07.202410:42 ответить ссылка 0.3
Ну, к этому моменту уже понятно, что расширение базы знаний мозгов сетке не добавляет. Так что рациональное зерно есть. Хотя claude тот же лучше справляется с кодом, чем copylot, всё равно оба хороши только на простом саждесте для буллшита. Чуть сложнее написать самому быстрее, чем искать ахуенно неочевидные баги в галюнах ии. Потому что оно их делает там, где человек не проебался бы, даже самый преджунистый джун.
Не, корпорации рады бы юзать одну большую модель для всего, но дорого, и стороннее. Что я и сказал. И действительно не добавляет денег, да и толку особо тоже.
Кратко: не получилось создать одну, но умную модель на все случаи жизни. Хотя-бы на уровне среднего американца. Вышел непонятный генератор реалистично выглядящих текстов.
Возможно, подними они число параметров на порядок, был-бы заметный скачок в качестве. Но но это уже не хватает никаких миллионов долларей и гиговатт. Приходится прекращать бросать деньги в печку и начинать думать. Думать, как сделать вместо говнокода говносетки, что жрёт море ресурсов а делает на стаканчик дел, что-то более оптимизированное. Но это не та оптимизация, к которой привыкли последние поколения разработчиков и поэтому им трудно. Очень трудно.
Но найден вариант! Как и дальше творить хуйню, но не так дорого. Вместо одного, но умного, сделать тупого но узкого специалиста. Своего рода тоже оптимизация, только не туда. Ну может сотня-другая таких узких специалистов сможет сделать за отупевших живых программистов нормальный код для себя, и создать уже нормальную сетку. Кто знает.
Из хорошего: возможно Хуанг таки снова вспомнит что видеокарты для населения и игр а не для майнинга и ЦОДов под ИИ. И снизит, падла, цены на карты до уровня домайнинговых.
z10dey z10dey 08.07.202401:27 ответить ссылка 1.0
>>снизит, падла, цены на карты до уровня домайнинговых.
Ага, поверил, ну и бредятина
пока все втирают дичь эксперт из Тель-Авива говорит что нужно перевести все в деньги
codofag codofag 08.07.202402:01 ответить ссылка 1.7
И выслать ему на хранение?
А номер счета какой?
Teijo Teijo 08.07.202408:34 ответить ссылка 0.0
Собственно, энерноэффективность это главный бич настоящего ИИ.
Наш мозг невероятно оптимиззирован для работы с низким энергопотреблением. А как эту же проблему должен решить ИИ -- понятия не имею
DeadTR DeadTR 08.07.202409:05 ответить ссылка 0.5
Оптимизацией. Асики для майнинга битка за 10 лет стали делать расчетов почти на 2 порядка (!) больше на джоуль энергии
vlkam vlkam 08.07.202411:47 ответить ссылка 0.7
И всё же. Что бы симулировать один лишь человеческий мозг нужны просто уйма энергии. Из чего я делаю вывод, что создание Настоящего ИИ, не превратив всю планету в электростанцию для его питания, невозможно.
Оптимизация, это конечно хорошо, но даже весьма простенький алгоритм чат-бота жрёт порядочно ресурсов.
Не знаю. Боюсь, пока мы не откроем какой-либо принципиально новый способ хотя бы сохранения энергии, уже не говорю о её получении, боюсь Настоящий ИИ мы не увидим.
DeadTR DeadTR 08.07.202412:28 ответить ссылка 0.0
были новости о компьютере на электронных платах и клетках мозга человека и мыши, недавно новости были про мини робота (сугубо пробный, с минимумом действий) управляемом клетками мозга. может сделают более масштабный гибрид или полностью отдельное био-железо(?) под ИИ
Когда то читал книгу, в которой ИИ, исчерпав все ископаемые планеты, не мог больше продолжать снабжать себя электричеством, и начал выращивать биологические мозги, в качестве процессоров, ибо их было легче "прокормить", нежели его цифровые системы.
Оно оказывается не так уж далеко от действительности
DeadTR DeadTR 08.07.202413:45 ответить ссылка 0.9
Вроде даже кек в Матрице был в том,что люди не «батарейки» для плотоядных машин, а именно что «нейронки запасные».

А пальчиковую батарейку Морфеус показывает, пытаясь совсем-совсем простым языком объяснитьс помощью аналогии (так,чтобы понял зритель. Крутой программист уровня Нео же понял бы, что «им нужны наши нейроны» на раз-два)
26994 26994 08.07.202414:17 ответить ссылка 3.2
Типичная аппроксимация "к середине 20го века Нью Йорк будет погребен под 20 метровым слоем конского навоза"

Gptchat появился только в прошлом году. Еще даже специализированных чипов под это массово не производят, вроде на видеокартах считают. Это ж только самое начало. Там поле непаханное по оптимизации и повышения производительности
vlkam vlkam 08.07.202417:27 ответить ссылка 2.4
Или предостережение "к середине 20го века Лондон будет под 20-сантиметровым слоем людского навоза"

Контекст: когда в Лондоне XIX века делали канализацию, главный инженер потребовал вместо небольших (перекрывающих потребности с небольшим запасом) труб для сточных вод сделать трубы в 2 раза шире, ЕМНИП. Результат: без этого решения в 60х бы Лондон не вывез бы свои современные многоэташки. Хорошо ли это или плохо - другой вопрос
26994 26994 08.07.202417:41 ответить ссылка 3.2
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты
4^PPC©D|^©
J/ @SaltPPC
- i
Most who follow me do not know Korean
Basically Rayark fire all their artists and replaced with ai Everything being put out is of poor quality now Last pic is former employee angry at Rayark
Rayark is company behind cytus 2 and deemo Do not buy Rayark games
Fact
подробнее»

нейросети ИИ Игры Разработчики игр

4^PPC©D|^© J/ @SaltPPC - i Most who follow me do not know Korean Basically Rayark fire all their artists and replaced with ai Everything being put out is of poor quality now Last pic is former employee angry at Rayark Rayark is company behind cytus 2 and deemo Do not buy Rayark games Fact
то систему, в адресной с