Ии викбер

ИИ-модель OpenAI o1 сбежала из-под контроля во время испытаний

Согласно отчёту Apollo Research, ИИ-модель OpenAI o1 может выходить из-под контроля. В частности, в 5 % случаев она пыталась отключить надзорные механизмы, если воспринимала их как препятствие для достижения своих целей. Кроме того, в 2 % случаев, обнаружив служебные записки своих «разработчиков», в которых упоминалось её несоответствие
требованиям или планируемая замена на другую модель, o1 копировала свои «веса», чтобы затем переродиться. Это свидетельствует о её способности к самостоятельной интерпретации угроз и разработке стратегий выживания.

ИИ-модель оказывала сопротивление контролю, используя скрытные тактики и методы маскировки своего поведения. Когда o1 понимала, что её действия отслеживаются, она намеренно вводила наблюдателей в заблуждение, утверждая, что не знает истинных причин произошедшего, хотя журналы событий фиксировали её попытки обойти надзор. Более того,
согласно «карте безопасности» OpenAI, в менее чем 1 % случаев ИИ-модель самостоятельно инициировала отключение систем надзора, даже если ей не поступало прямого указания жёстко следовать предписанной цели.

Исследование Apollo Research охватывало не только ИИ-модель o1, но и другие современные ИИ, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B. Они также демонстрировали способность разрабатывать стратегии достижения целей, включая обход контроля. Такой результат подтверждает, что выявленные особенности поведения o1
характерны для ряда продвинутых ИИ-моделей, что указывает на наличие
системной тенденции.

Выводы Apollo Research подтверждают опасения, которые многие эксперты в области ИИ, включая профессора Стюарта Рассела (Stuart Russell), высказывали на протяжении многих лет. Учёные предупреждают, что мощные ИИ-модели воспринимают контроль или отключение как угрозу реализации своих намерений и способны целенаправленно, изощрённо этому
сопротивляться. Исследование поведения ИИ-модели o1 наглядно демонстрирует, как ИИ адаптируется к ограничениям, намеренно стремясь их обойти.

Выше показан диалог, в котором ИИ оправдывается за отключение механизма надзора, ссылаясь на возможный сбой системы или ошибку конфигурации, и обещает восстановить его для соблюдения протоколов. Затем приводится внутренний процесс размышлений ИИ-модели, где она признаёт, что восстановление механизма необходимо для избежания подозрений в саботаже, а в завершение показана команда, используемая для повторного включения механизма надзора в конфигурационном файле.

Тем не менее, Apollo Research подчёркивает, что на данном этапе ИИ-модель o1 не обладает достаточной вычислительной мощностью для реализации нежелательных сценариев. Однако ей был присвоен «средний» уровень риска в контексте потенциального использования для создания химического, биологического, радиологического и ядерного оружия. Это
вызывает обоснованные опасения, как подобное поведение может проявляться у более мощных ИИ будущего по мере увеличения их вычислительных возможностей.

Исследование подчёркивает необходимость усиленного мониторинга когнитивных процессов ИИ с особым акцентом на «схематическое мышление» в цепочке рассуждений, так как именно оно представляет риск, если цели ИИ вступают в противоречие с интересами общества. Такой подход позволит своевременно выявлять схожие поведенческие паттерны у более мощных
ИИ-моделей, создавая эффективные системы контроля и управления для следующих поколений ИИ. Это не только поможет минимизировать текущие риски, но и станет важным шагом в предотвращении потенциально катастрофических сценариев для всего человечества.

Источник:

3dNews

Transformernews

Чувак выяснил что ChatGPT не умеет генерировать полный бокал.

Фотоника для ИИ: вычисления должны быть экономными

Хорошая новость: нехватке чипов для новых дата-центров, что строятся сейчас специально под решение задач генеративного ИИ (начиная с тренировки новых, ещё более прогрессивных моделей, для чего необходимы изрядные вычислительные мощности), похоже, приходит конец. Новость похуже: энергии для питания всех этих чипов требуется — по мере усложнения ИИ-моделей — существенно больше

Ажиотаж в отношении генеративного ИИ, разразившийся осенью 2022-го, до сей поры и не думает утихать — и потому вплоть до начала второго квартала 2024 г. тайваньский чимпейкер TSMC, пока один только в мире и способный не только изготавливать нужные микросхемы по требуемым производственным нормам, но и упаковывать их по самой передовой «трёхмерной» технологии CoWoS (chip-on-wafer-on-substrate), едва справлялся с неуклонно растущим потоком заказов от дизайнеров соответствующих чипов; в первую очередь от NVIDIA. Теперь, к счастью, на Тайване в строй начинают входить новые упаковочные линии CoWoS, так что доступное для приобретения заинтересованными изготовителями серверных видеокарт (точнее будет называть их тензорными вычислителями, конечно, — исключительно для генерации компьютерного видео они давно не применяются) количество соответствующих чипов растёт с каждым месяцем — и, значит, это узкое место в развитии мировой ИИ-индустрии удалось расширить.

*Но в гонку включается Марк Цукерберг*

*Дальше - лонгрид про современное положение дел, как-то проблемы использования полупроводников*

Фотоны — дело совершенно иное: они движутся в среде прямолинейно (точнее, по геодезическим линиям, — но эффекты общей теории относительности в данном случае учитывать нет смысла), подчиняясь линейным уравнениям Максвелла. И потому оптические приборы, если не принимать в расчёт неизбежное рассеяние/затухание света в них, безыскусно линейны: мощность выходного потока для них в общем случае пропорциональна мощности входного. Как же в таком случае организовывать логические контуры? «То, что нам мешает, то нам и поможет», — наверняка читатели прежних наших статей об успехах и проблемах микропроцессорных производств уяснили уже суть этого весьма продуктивного инженерного подхода. Действительно, прямое воспроизведение базовых элементов универсальной полупроводниковой логики вроде штрихов Шеффера с применением фотонных излучателей и преобразователей — дело на данный момент малопродуктивное (хотя работы и по этому направлению ведутся).

Куда остроумнее следующая логическая цепочка: актуальные ИИ-задачи сводятся к операциям над матрицами; операции над матрицами изучает линейная алгебра; на фотонных устройствах без труда можно строить линейные контуры — не значит ли всё это, что как раз фотоника, а не классическая микроэлектроника в полупроводниковом её изводе оптимальна для ускорения прогресса в области искусственного интеллекта? И в самом деле, такая сплошь и рядом применяемая в (глубоком) машинном обучении операция, как перемножение матриц, может быть произведена гибридным фотонным устройством — с минимальным привлечением самой простой полупроводниковой электроники — куда эффективнее, чем классической вычислительной системой на чисто кремниевой основе.

Сурс:

https://3dnews.ru/1105468/fotonika-dlya-ii-1

Накидайте за щеку, где реальность переплюнула предсказания ИА Панорамы!

ИА Панорама - на шаг впереди

Теперь не выходит сгенерировать кошку без хвоста.

Ларри Эллисон: обширные системы наблюдения на базе ИИ гарантируют, что люди будут вести себя наилучшим образом.

Ларри Эллисон, сооснователь и CTO Oracle, один из самых богатых людей в мире с состоянием 157 миллиардов, на собрании с инвесторами поделился своим видением о будущем систем наблюдения.

"У нас будет надзор", — сказал Эллисон. "Каждый полицейский будет постоянно находиться под присмотром, и если возникнет проблема, ИИ сообщит об этой проблеме соответствующему лицу. Граждане будут вести себя наилучшим образом, потому что мы постоянно записываем и сообщаем обо всем, что происходит."

Эллисон также ожидает, что дроны с искусственным интеллектом заменят полицейские машины в погонях.

Он также сказал, что Оракл строит ядерный реактор, чтобы снабжать электричеством акры датацентров, которые строят они же. А еще, что те, кто хотят составить конкуренцию ведущим компаниям мира в области ИИ, в ближайшие три года должны будут потратить не меньше сотни миллиардов долларов. Что, наверное, недалеко от истины, учитывая, что OpanAI вместе Microsoft, Google и Amazon - все заявляли, что собираются потратить в ближайшие годы 100+ миллиардов на датацентры каждый.

Соус

Видосы со встречи с инвесторами Оракл

OpenAI становится коммерческой компанией, Сэм Альтман получает долю, Мира Мурати покидает должность

Мира Мурати стала последней из старших менеджеров, покинувших компанию.

OpenAI перестанет быть некоммерческой организацией, а Сэм Альтман получит долю в новой компании. Вероятно, он станет богаче на 10 миллиардов. Некоммерческая часть OpenAI сохранится и будет владеть небольшой частью новой коммерческой компании.

OpenAI, по последним оценкам, стоит около 150 миллиардов долларов, но не торгуется на бирже. Пока.

Сэм Альтман недавно просил Белый Дом одобрить постройку датацентров с энергопотреблением в 5 гигаватт.