Фотоника для ИИ: вычисления должны быть экономными / репост с 3DNEWS :: ИИ

ИИ репост с 3DNEWS 

Фотоника для ИИ: вычисления должны быть экономными

Хорошая новость: нехватке чипов для новых дата-центров, что строятся сейчас специально под решение задач генеративного ИИ (начиная с тренировки новых, ещё более прогрессивных моделей, для чего необходимы изрядные вычислительные мощности), похоже, приходит конец. Новость похуже: энергии для питания всех этих чипов требуется — по мере усложнения ИИ-моделей — существенно больше

Ажиотаж в отношении генеративного ИИ, разразившийся осенью 2022-го, до сей поры и не думает утихать — и потому вплоть до начала второго квартала 2024 г. тайваньский чимпейкер TSMC, пока один только в мире и способный не только изготавливать нужные микросхемы по требуемым производственным нормам, но и упаковывать их по самой передовой «трёхмерной» технологии CoWoS (chip-on-wafer-on-substrate), едва справлялся с неуклонно растущим потоком заказов от дизайнеров соответствующих чипов; в первую очередь от NVIDIA. Теперь, к счастью, на Тайване в строй начинают входить новые упаковочные линии CoWoS, так что доступное для приобретения заинтересованными изготовителями серверных видеокарт (точнее будет называть их тензорными вычислителями, конечно, — исключительно для генерации компьютерного видео они давно не применяются) количество соответствующих чипов растёт с каждым месяцем — и, значит, это узкое место в развитии мировой ИИ-индустрии удалось расширить.

*Но в гонку включается Марк Цукерберг*

*Дальше - лонгрид про современное положение дел, как-то проблемы использования полупроводников*

Фотоны — дело совершенно иное: они движутся в среде прямолинейно (точнее, по геодезическим линиям, — но эффекты общей теории относительности в данном случае учитывать нет смысла), подчиняясь линейным уравнениям Максвелла. И потому оптические приборы, если не принимать в расчёт неизбежное рассеяние/затухание света в них, безыскусно линейны: мощность выходного потока для них в общем случае пропорциональна мощности входного. Как же в таком случае организовывать логические контуры? «То, что нам мешает, то нам и поможет», — наверняка читатели прежних наших статей об успехах и проблемах микропроцессорных производств уяснили уже суть этого весьма продуктивного инженерного подхода. Действительно, прямое воспроизведение базовых элементов универсальной полупроводниковой логики вроде штрихов Шеффера с применением фотонных излучателей и преобразователей — дело на данный момент малопродуктивное (хотя работы и по этому направлению ведутся).

Куда остроумнее следующая логическая цепочка: актуальные ИИ-задачи сводятся к операциям над матрицами; операции над матрицами изучает линейная алгебра; на фотонных устройствах без труда можно строить линейные контуры — не значит ли всё это, что как раз фотоника, а не классическая микроэлектроника в полупроводниковом её изводе оптимальна для ускорения прогресса в области искусственного интеллекта? И в самом деле, такая сплошь и рядом применяемая в (глубоком) машинном обучении операция, как перемножение матриц, может быть произведена гибридным фотонным устройством — с минимальным привлечением самой простой полупроводниковой электроники — куда эффективнее, чем классической вычислительной системой на чисто кремниевой основе.

Сурс:

https://3dnews.ru/1105468/fotonika-dlya-ii-1

ИИ,репост с 3DNEWS
Подробнее

ИИ,репост с 3DNEWS
Еще на тему
Развернуть
переводила нейронка?
Zhook Zhook 10.06.202408:43 ответить ссылка 6.5
Сложный технический текст, могли и чат-гопотой намалевать XD
26994 26994 10.06.202408:44 ответить ссылка 3.2
Эх, ностальгия...
Примерно 1997, я читаю "Компьютерное обозрение" и там пишут про PCI-плату, умножающую матрицу 128х128 на вектор при помощи фотонов...
Нейросетки так то тоже не вчера изобрели, возможно сейчас под давлением спроса технология получит развитие
h8myself h8myself 10.06.202409:32 ответить ссылка -1.7
Ну да, персептрону 67 лет уже. :)
Дело не в математике (которая действительно стара) а том что ее применить нельзя было в полной мере. Тот бум нейронок что происходит сейчас, начался как раз с того что появились большие размеченные датасеты в том числе и датасеты картинок.

На этих датасетах натаскали OCR нейронки и стали переганять отсканеные библиотеки в текст. Все эти тексты стали новыми датасетами на которых уже учился ChatGPT например.

Я это к тому что персептрон это лишь старый фундамент на который непрерывно настраиваются новые технологии
Roxot Roxot 10.06.202410:39 ответить ссылка 1.2
A.L.I.C.E. была первым чатботом уже в 1966, это уже 58 лет плюс-минус месяцы
26994 26994 10.06.202410:45 ответить ссылка 5.3
А можно в двух словах? Читать лениво
очередные сказки о том, как фотонные процессоры полезными сделать
ValD ValD 10.06.202410:07 ответить ссылка 6.7
это немного другие фотонные процессоры, с обычной бинарной логикой.
С размером матрицы количество вычислений при умножении растёт почти в кубе, если тебе нужно перемножать много больших матриц, а фотонный уумножитель сможет их вычислять за один такт, то количества сэкономленной энергии хватит чтобы печатать такие вычислители вёдрами, остатков ещё хватит чтобы теслапушкой радостных от победы и перспектив роспуска зелёных отгонять.
Мне чет вспомнилась статья которую мельком видел несколько лет назад, о том что нейросетки попробовали запекать в прозрачный кусок пластика в виде каналов и пускали по ним луч света, и что в результате оно "вычисляло" результат +- со скоростью света, надо было только достаточно мощный фонарик на "входные" каналы направить. Это статья о развитии той идеи? Тогда ещё сразу пришла в голову мысль что может НФ фильмы где футуристическая техника представлялась всякими прозрачными и светящимися кристаллами была не так уж и нелепа.
Оно не перепрограммируется нихрена.
Пока что живым выглядит вариант - спинтроника. Это когда вместо электронного транспорта используется спиновый транспорт. Тогда транзисторы ещё и встроенный эффект памяти получают. А скорость чтения и записи как у электронного - 4 нс.
Что по поводу энергии. Если всё будет норм, где-то в 34 году начнем строить прототип термоядерного реактора. Мужик, который жопой всю жизнь просидел на эффекте, который позволяет лазерные 45% КПД преодолеть(он это всё в оружие превращал, не безуспешно, но энергетика выглядит перспективнее).
12111 12111 12.06.202403:48 ответить ссылка 0.0
Если смотреть то что сейчас строится это росатом с брестом. Мощность решается масштабированием, а реакторы будут жрать 238 изотоп урана, которого дохера.
12111 12111 12.06.202403:52 ответить ссылка 0.0
Дык и обученную нейронку никто не перепрограммирует...
AjiTae AjiTae 24.06.202418:46 ответить ссылка 0.0
Я прям как чувствую в воздухе запах изнасилования журналиста учеными.
ManKey ManKey 10.06.202413:43 ответить ссылка 3.6
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты
то систему, в адресной с ИА «Панорама» (©¡а_рапогата -15 ч
• Александр Емельяненко исполнил мечту 12-летнего школьника из Дмитрова, который хотел выйти с ним на ринг
Уже на второй секунде поединка боец пробил защиту оппонента и отправил его в глухой нокаут. Мальчика забрала скорая помощь в бессознательном состоянии.
подробнее»

иа панорама

ИА «Панорама» (©¡а_рапогата -15 ч • Александр Емельяненко исполнил мечту 12-летнего школьника из Дмитрова, который хотел выйти с ним на ринг Уже на второй секунде поединка боец пробил защиту оппонента и отправил его в глухой нокаут. Мальчика забрала скорая помощь в бессознательном состоянии.