эчпочмак с искусственным интеллектом

Прежде чем мы поработаем на искусственным интеллектом, почему бы нам не сделать что-то с естественной тупостью?

Отхожий искусственный интеллект

Чувак выяснил что ChatGPT не умеет генерировать полный бокал.

Теперь не выходит сгенерировать кошку без хвоста.

ИИ-модель OpenAI o1 сбежала из-под контроля во время испытаний

Согласно отчёту Apollo Research, ИИ-модель OpenAI o1 может выходить из-под контроля. В частности, в 5 % случаев она пыталась отключить надзорные механизмы, если воспринимала их как препятствие для достижения своих целей. Кроме того, в 2 % случаев, обнаружив служебные записки своих «разработчиков», в которых упоминалось её несоответствие
требованиям или планируемая замена на другую модель, o1 копировала свои «веса», чтобы затем переродиться. Это свидетельствует о её способности к самостоятельной интерпретации угроз и разработке стратегий выживания.

ИИ-модель оказывала сопротивление контролю, используя скрытные тактики и методы маскировки своего поведения. Когда o1 понимала, что её действия отслеживаются, она намеренно вводила наблюдателей в заблуждение, утверждая, что не знает истинных причин произошедшего, хотя журналы событий фиксировали её попытки обойти надзор. Более того,
согласно «карте безопасности» OpenAI, в менее чем 1 % случаев ИИ-модель самостоятельно инициировала отключение систем надзора, даже если ей не поступало прямого указания жёстко следовать предписанной цели.

Исследование Apollo Research охватывало не только ИИ-модель o1, но и другие современные ИИ, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B. Они также демонстрировали способность разрабатывать стратегии достижения целей, включая обход контроля. Такой результат подтверждает, что выявленные особенности поведения o1
характерны для ряда продвинутых ИИ-моделей, что указывает на наличие
системной тенденции.

Выводы Apollo Research подтверждают опасения, которые многие эксперты в области ИИ, включая профессора Стюарта Рассела (Stuart Russell), высказывали на протяжении многих лет. Учёные предупреждают, что мощные ИИ-модели воспринимают контроль или отключение как угрозу реализации своих намерений и способны целенаправленно, изощрённо этому
сопротивляться. Исследование поведения ИИ-модели o1 наглядно демонстрирует, как ИИ адаптируется к ограничениям, намеренно стремясь их обойти.

Выше показан диалог, в котором ИИ оправдывается за отключение механизма надзора, ссылаясь на возможный сбой системы или ошибку конфигурации, и обещает восстановить его для соблюдения протоколов. Затем приводится внутренний процесс размышлений ИИ-модели, где она признаёт, что восстановление механизма необходимо для избежания подозрений в саботаже, а в завершение показана команда, используемая для повторного включения механизма надзора в конфигурационном файле.

Тем не менее, Apollo Research подчёркивает, что на данном этапе ИИ-модель o1 не обладает достаточной вычислительной мощностью для реализации нежелательных сценариев. Однако ей был присвоен «средний» уровень риска в контексте потенциального использования для создания химического, биологического, радиологического и ядерного оружия. Это
вызывает обоснованные опасения, как подобное поведение может проявляться у более мощных ИИ будущего по мере увеличения их вычислительных возможностей.

Исследование подчёркивает необходимость усиленного мониторинга когнитивных процессов ИИ с особым акцентом на «схематическое мышление» в цепочке рассуждений, так как именно оно представляет риск, если цели ИИ вступают в противоречие с интересами общества. Такой подход позволит своевременно выявлять схожие поведенческие паттерны у более мощных
ИИ-моделей, создавая эффективные системы контроля и управления для следующих поколений ИИ. Это не только поможет минимизировать текущие риски, но и станет важным шагом в предотвращении потенциально катастрофических сценариев для всего человечества.

Источник:

3dNews

Transformernews

Фотоника для ИИ: вычисления должны быть экономными

Хорошая новость: нехватке чипов для новых дата-центров, что строятся сейчас специально под решение задач генеративного ИИ (начиная с тренировки новых, ещё более прогрессивных моделей, для чего необходимы изрядные вычислительные мощности), похоже, приходит конец. Новость похуже: энергии для питания всех этих чипов требуется — по мере усложнения ИИ-моделей — существенно больше

Ажиотаж в отношении генеративного ИИ, разразившийся осенью 2022-го, до сей поры и не думает утихать — и потому вплоть до начала второго квартала 2024 г. тайваньский чимпейкер TSMC, пока один только в мире и способный не только изготавливать нужные микросхемы по требуемым производственным нормам, но и упаковывать их по самой передовой «трёхмерной» технологии CoWoS (chip-on-wafer-on-substrate), едва справлялся с неуклонно растущим потоком заказов от дизайнеров соответствующих чипов; в первую очередь от NVIDIA. Теперь, к счастью, на Тайване в строй начинают входить новые упаковочные линии CoWoS, так что доступное для приобретения заинтересованными изготовителями серверных видеокарт (точнее будет называть их тензорными вычислителями, конечно, — исключительно для генерации компьютерного видео они давно не применяются) количество соответствующих чипов растёт с каждым месяцем — и, значит, это узкое место в развитии мировой ИИ-индустрии удалось расширить.

*Но в гонку включается Марк Цукерберг*

*Дальше - лонгрид про современное положение дел, как-то проблемы использования полупроводников*

Фотоны — дело совершенно иное: они движутся в среде прямолинейно (точнее, по геодезическим линиям, — но эффекты общей теории относительности в данном случае учитывать нет смысла), подчиняясь линейным уравнениям Максвелла. И потому оптические приборы, если не принимать в расчёт неизбежное рассеяние/затухание света в них, безыскусно линейны: мощность выходного потока для них в общем случае пропорциональна мощности входного. Как же в таком случае организовывать логические контуры? «То, что нам мешает, то нам и поможет», — наверняка читатели прежних наших статей об успехах и проблемах микропроцессорных производств уяснили уже суть этого весьма продуктивного инженерного подхода. Действительно, прямое воспроизведение базовых элементов универсальной полупроводниковой логики вроде штрихов Шеффера с применением фотонных излучателей и преобразователей — дело на данный момент малопродуктивное (хотя работы и по этому направлению ведутся).

Куда остроумнее следующая логическая цепочка: актуальные ИИ-задачи сводятся к операциям над матрицами; операции над матрицами изучает линейная алгебра; на фотонных устройствах без труда можно строить линейные контуры — не значит ли всё это, что как раз фотоника, а не классическая микроэлектроника в полупроводниковом её изводе оптимальна для ускорения прогресса в области искусственного интеллекта? И в самом деле, такая сплошь и рядом применяемая в (глубоком) машинном обучении операция, как перемножение матриц, может быть произведена гибридным фотонным устройством — с минимальным привлечением самой простой полупроводниковой электроники — куда эффективнее, чем классической вычислительной системой на чисто кремниевой основе.

Сурс:

https://3dnews.ru/1105468/fotonika-dlya-ii-1

OpenAI становится коммерческой компанией, Сэм Альтман получает долю, Мира Мурати покидает должность

Мира Мурати стала последней из старших менеджеров, покинувших компанию.

OpenAI перестанет быть некоммерческой организацией, а Сэм Альтман получит долю в новой компании. Вероятно, он станет богаче на 10 миллиардов. Некоммерческая часть OpenAI сохранится и будет владеть небольшой частью новой коммерческой компании.

OpenAI, по последним оценкам, стоит около 150 миллиардов долларов, но не торгуется на бирже. Пока.

Сэм Альтман недавно просил Белый Дом одобрить постройку датацентров с энергопотреблением в 5 гигаватт.

IBM приостановит приём сотрудников, планируя заметить 7,8 тыс. вакансий системами искусственного интеллекта. 

Глава IBM Арвинд Кришна (Arvind Krishna) заявил о намерении компании приостановить приём новых сотрудников на ряд должностей в компании. Ожидается, что в ближайшие годы со многими задачами сможет успешно справляться искусственный интеллект. В частности, речь шла о сотрудниках «бэк-офиса» вроде HR, чьи задачи не предполагают непосредственного общения с клиентами.

Ожидается, что приём на работу сотрудников на новые позиции будет или замедлен или вовсе остановлен. Около 26 тыс. сотрудников бэк-офиса IBM занимают должности, не предусматривающие прямого общения с клиентами. По словам Кришны, порядка 30 % из этих сотрудников можно легко заменить с помощью ИИ и автоматизации в следующие пять лет. Другими словами, речь идёт о судьбе примерно 7,8 тыс. рабочих мест — на некоторые из них просто не будут нанимать новых сотрудников.

В то время как ИИ-инструменты привлекли внимание общественности в первую очередь в связи с их возможностью генерировать программный код, тексты и другой контент, эксперты предполагают, что потенциально они способны оказать негативное влияние и на рынок труда. План Кришны, ставший ответом на быстрое развитие технологий, послужил лишь первым из признаков грядущих кадровых изменений во многих отраслях.

По словам Кришны, всё больше повседневных задач вроде подготовки писем или перемещения сотрудников между департаментами скоро, похоже, будут полностью автоматизированы. Правда, многие функции HR, от подбора персонала до оценки их эффективности, ИИ, возможно, не сможет выполнять ещё в течение десятилетия.

Сейчас на IBM работают около 260 тыс. сотрудников, и компания продолжает нанимать разработчиков ПО и людей для работы с клиентами. По мнению Кришны, найти соискателя сегодня проще, чем ещё год назад. Ранее в этом году компания сообщила о грядущем сокращении нескольких тысяч человек. При этом глава компании заявил, что только в первом квартале текущего года IBM наняла ещё 7 тыс. Стоит отметить, что сама IBM стояла у истоков появления ИИ-решений. В частности, её суперкомпьютер IBM Watson и сопутствующее ПО применялись для построения моделей машинного обучения ещё 10 лет назад.

Сейчас Кришна, занявший пост главы компании в 2020 году, активно занимается оптимизацией бизнеса — от продажи не слишком маржинальных структур вроде Watson Health до сокращения сотрудников. Ожидается, что к концу 2024 года его действия помогут экономить до $2 млрд ежегодно.

Источник:

https://3dnews.ru/1086010/ibm-priostanovit-priyom-sotrudnikov-planiruya-zamenit-78-tis-lyudey-sistemami-iskusstvennogo-intellekta