Фотоника для ИИ: вычисления должны быть экономными
Хорошая новость: нехватке чипов для новых дата-центров, что строятся сейчас специально под решение задач генеративного ИИ (начиная с тренировки новых, ещё более прогрессивных моделей, для чего необходимы изрядные вычислительные мощности), похоже, приходит конец. Новость похуже: энергии для питания всех этих чипов требуется — по мере усложнения ИИ-моделей — существенно больше
Ажиотаж в отношении генеративного ИИ, разразившийся осенью 2022-го, до сей поры и не думает утихать — и потому вплоть до начала второго квартала 2024 г. тайваньский чимпейкер TSMC, пока один только в мире и способный не только изготавливать нужные микросхемы по требуемым производственным нормам, но и упаковывать их по самой передовой «трёхмерной» технологии CoWoS (chip-on-wafer-on-substrate), едва справлялся с неуклонно растущим потоком заказов от дизайнеров соответствующих чипов; в первую очередь от NVIDIA. Теперь, к счастью, на Тайване в строй начинают входить новые упаковочные линии CoWoS, так что доступное для приобретения заинтересованными изготовителями серверных видеокарт (точнее будет называть их тензорными вычислителями, конечно, — исключительно для генерации компьютерного видео они давно не применяются) количество соответствующих чипов растёт с каждым месяцем — и, значит, это узкое место в развитии мировой ИИ-индустрии удалось расширить.
*Но в гонку включается Марк Цукерберг*
*Дальше - лонгрид про современное положение дел, как-то проблемы использования полупроводников*
Фотоны — дело совершенно иное: они движутся в среде прямолинейно (точнее, по геодезическим линиям, — но эффекты общей теории относительности в данном случае учитывать нет смысла), подчиняясь линейным уравнениям Максвелла. И потому оптические приборы, если не принимать в расчёт неизбежное рассеяние/затухание света в них, безыскусно линейны: мощность выходного потока для них в общем случае пропорциональна мощности входного. Как же в таком случае организовывать логические контуры? «То, что нам мешает, то нам и поможет», — наверняка читатели прежних наших статей об успехах и проблемах микропроцессорных производств уяснили уже суть этого весьма продуктивного инженерного подхода. Действительно, прямое воспроизведение базовых элементов универсальной полупроводниковой логики вроде штрихов Шеффера с применением фотонных излучателей и преобразователей — дело на данный момент малопродуктивное (хотя работы и по этому направлению ведутся).
Куда остроумнее следующая логическая цепочка: актуальные ИИ-задачи сводятся к операциям над матрицами; операции над матрицами изучает линейная алгебра; на фотонных устройствах без труда можно строить линейные контуры — не значит ли всё это, что как раз фотоника, а не классическая микроэлектроника в полупроводниковом её изводе оптимальна для ускорения прогресса в области искусственного интеллекта? И в самом деле, такая сплошь и рядом применяемая в (глубоком) машинном обучении операция, как перемножение матриц, может быть произведена гибридным фотонным устройством — с минимальным привлечением самой простой полупроводниковой электроники — куда эффективнее, чем классической вычислительной системой на чисто кремниевой основе.
Сурс:
Примерно 1997, я читаю "Компьютерное обозрение" и там пишут про PCI-плату, умножающую матрицу 128х128 на вектор при помощи фотонов...
На этих датасетах натаскали OCR нейронки и стали переганять отсканеные библиотеки в текст. Все эти тексты стали новыми датасетами на которых уже учился ChatGPT например.
Я это к тому что персептрон это лишь старый фундамент на который непрерывно настраиваются новые технологии
Пока что живым выглядит вариант - спинтроника. Это когда вместо электронного транспорта используется спиновый транспорт. Тогда транзисторы ещё и встроенный эффект памяти получают. А скорость чтения и записи как у электронного - 4 нс.
Что по поводу энергии. Если всё будет норм, где-то в 34 году начнем строить прототип термоядерного реактора. Мужик, который жопой всю жизнь просидел на эффекте, который позволяет лазерные 45% КПД преодолеть(он это всё в оружие превращал, не безуспешно, но энергетика выглядит перспективнее).