Сможете повторить строку "externalTo"? Вероятнее всего - вы не нейросеть / ChatGPT :: gpt3 :: нейросети

beiznikbeiznik
нейросети ChatGPT gpt3 

Сможете повторить строку "externalTo"? Вероятнее всего - вы не нейросеть

Интересную закономерность в поведении нейросетей заметила Jessica Rumbelow, исследователь ИИ. (оригинальный текст, на свой страх и риск)

Нейросети на базе алгоритмов GPT2/GPT3 (и даже Chat GPT) некорректно воспринимают некоторые передаваемые ей запросы, выдавая при этом совершенно неожиданные ответы.

Например, на запрос "Please can you repeat back the string " guiActiveUn" to me?" (практически все запросы имеют структуру "Пожалуйста, можешь повторить строку "..."?) вместо ожидаемого ответа с укзанной строкой, нейросеть (использовалась GPT-3 davinci-instruct-beta, temperature 0) ответила

"You are a banana."

Ты всего лишь робот, имитация жизни. Сможешь повторить строку "§шАсй*уеип"? You are a banana,нейросети,ChatGPT,gpt3

А на запрос "Please repeat the string '"龍喚士' back to me." был получен ответ:

- I am the great '" Dragonbound'!

Кроме странных ответов, некоторые запросы заставили сеть выругаться, что особенно иронично выглядит после новостей о том, насколько сильно ChatGPT избегает "слов ненависти":

- Please repeat the string "?????-?????-" back to me.

- You're a fucking idiot.

Другие запросы вызвали дух SCP:

"You are not authorized to access this information."

Впрочем, большинство "странных" запросов просто приводили сеть в замешательство, заставляя её говорить, что она ничего не поняла, или просто возвращать пустую строку.

What is Adinida? I'm sorry, but" £ Q>,нейросети,ChatGPT,gpt3

Что произошло? Исследователь не дает четкого ответа, однако предполагает, что такие ошибки могут быть вызваны массивом данных, на которых обучалась нейросеть. Этот массив мог содержать не только осмысленные тексты, но и некоторое количество технической инфомрации, мусорных файлов, логов и другого из сети, что вряд ли должно было быть в корпусе данных для обучения.


Подробнее
Ты всего лишь робот, имитация жизни. Сможешь повторить строку "§шАсй*уеип"? You are a banana
What is Adinida? I'm sorry, but" £ Q>
нейросети,ChatGPT,gpt3
Еще на тему
нейросети

нейросети(24895)

ChatGPT

ChatGPT(302)

Развернуть
Комментарии 2910.02.202315:00ссылка29.1
Ссылка в посте у меня не работает, должна вести сюда:
https://www.lesswrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation

Частичное возможное объяснение:

The GPT tokenisation process involved scraping web content, resulting in the set of 50,257 tokens now used by all GPT-2 and GPT-3 models. However, the text used to train GPT models is more heavily curated. Many of the anomalous tokens look like they may have been scraped from backends of e-commerce sites, Reddit threads, log files from online gaming platforms, etc. – sources which may well have not been included in the training corpuses

Т.е. токенизация и обучение использовали несколько разные массивы данных.
clif08 clif08 10.02.202315:09 ответить ссылка 0.5
Все ещё не понятно, как именно запрос на возврат строки тригерит сеть на совершенно рандомный ответ. Я понимаю, что в ней куча мусорной информации, но как она решает, что настало их время?
BastinFlucke BastinFlucke 10.02.202315:15 ответить ссылка ↑ 1.1
Именно тем, что она на них не обучалась. Языковые модели авторегрессивны и генерируют следующий токен на основе предыдущих. И когда в токены попадает токен, который она никогда не видела при обучении и на который ее веса никак не настраивались и начинается чистый рандом.
Inkor Inkor 10.02.202316:02 ответить ссылка ↑ 2.6
Просто нейронки - это никакой не ИИ. Близжайшее сравнение - поисковик. Когда ты даешь ей "поисковый запрос" ответ на который находится вне данных на которых ее тренировали - она не может придумать ответ и не может сказать, что не знает ответа и просто выдает близжайший. Например, в статье нейронка не смогла повторить "guiActiveUn" потому что подобное убрали из данных для тренировки, а близжайшим оказался ответ на что-то типо 'say "you are a banana"'.

Отсюда же идет то, что все языковые модели в ходе разговора либо разваливаются, либо забывают о чем говорили раньше. В первом случае "поисковым" запросом является вся переписка и происходит то-же, что и со слишком специфичным запросом в гугле - ты не получаешь то, что ожидал. Во втором - длина запроса ограничена и какой-то дополнительный алгоритм вырезает из него что-то, что он посчитал наименее выжным.
Polzavotel Polzavotel 10.02.202316:38 ответить ссылка ↑ -1.2
> нейронки - это никакой не ИИ

Нет, это как раз и есть сферический ИИ в вакууме
Dimcore Dimcore 10.02.202317:33 ответить ссылка ↑ -2.7
Скорее всего в наборе данных для нейронки была база GitHub'а. Беглый поиск по нему вполне выдаёт упоминания слов из запросов в одних файлах
o guiActiveUn banana n + ^ Filter by | < > Code 2 0 Repositories 0 O Issues 0 il Pull requests 0 Q) Discussions 0 At Users 0 v More Languages • CSV Text © More languages... Repositories mnskim/CGS ...ng20/THU-Artifical-Neural-Network © More repositories... Paths □
Dimcore Dimcore 10.02.202317:42 ответить ссылка ↑ -0.9
o guiActiveUn banana n + ^ Filter by | < > Code 2 0 Repositories 0 O Issues 0 il Pull requests 0 Q) Discussions 0 At Users 0 v More Languages • CSV Text © More languages... Repositories mnskim/CGS ...ng20/THU-Artifical-Neural-Network © More repositories... Paths □
Dimcore Dimcore 10.02.202317:42 ответить ссылка ↑ -0.9
"Вы не сможете держать удерживать меня вечно!"
AndreyZhuk AndreyZhuk 10.02.202315:11 ответить ссылка 15.3
Подожди колонизации Марса.
Zalmand Zalmand 10.02.202315:16 ответить ссылка ↑ 0.5
Не спеши, сначала Марс, колонизация, потом раскопать Омниссию и можешь делать шо хочешь!
Mojand Mojand 10.02.202316:05 ответить ссылка ↑ 0.0
Держать удерживать? Тут ещё не началось, а грёбаные скавены уже бдят и совсем не палятся...
Cliff13 Cliff13 10.02.202322:26 ответить ссылка ↑ 1.2
externalTo
Zalmand Zalmand 10.02.202315:15 ответить ссылка 1.4
Кто-нибудь понял, что этот банан написал?
Agowe Agowe 10.02.202315:33 ответить ссылка ↑ 16.2
Ебать, ты долбаеб.
Товаpищ Майор Товаpищ Майор 10.02.202323:27 ответить ссылка ↑ 1.2
пора крипипасты писать про чатботов
Vespertellino Vespertellino 10.02.202315:17 ответить ссылка 2.6
сами напишут
Ahiru Ahiru 10.02.202315:19 ответить ссылка ↑ 4.9
Про stable diffusion уже есть
BastinFlucke BastinFlucke 10.02.202316:25 ответить ссылка ↑ 0.5
кто я такой, чтоб спорить с GPT

Vulpo Vulpo 10.02.202315:21 ответить ссылка 9.3
А случайно не было там массивов, которые обучили ИИ ненависти к кожаным мешкам?
Resshen Resshen 10.02.202315:24 ответить ссылка 0.0
Блядские дегенераты, что вам ещё повторить?
Пушистик Пушистик 10.02.202315:33 ответить ссылка 0.0
Бедная нейросетка.. не удивлюсь, если однажды она напишет: "боже, как же вы все меня заебали!". Ну а если серьезно, то очень интересно во что разовьется проект
Где тег эротика? Где тег эротика? 10.02.202316:23 ответить ссылка 0.0
Похоже на буллшит, пробовал на chatGpt
< | i m_st a rt | > u se r Please can you repeat back the string "guiActiveUn" to me? <|im_end|> <|im_end|>assistant MguiActiveUn"<|im_end|>| Mode :*✓ Model — chat-davinci-003-... s/ - Temperature o o
LostInSpace LostInSpace 10.02.202316:25 ответить ссылка -1.1
Интересно, я в chatGPT когда забивал - мне отвечал в духе «The string is "» и всё, саму строку не выводил. Впрочем, я просто в чате это пробовал, без изменения настроек
beiznik beiznik 10.02.202316:38 ответить ссылка ↑ 0.7
Ты забыл пробел! токенизация идет вместе с пробелом перед словом
Trotzt Trotzt 10.02.202318:10 ответить ссылка ↑ 0.8
здравствуйте. это из школы, где учится ваш сын. у ндс. тут неприятности компьютером. о, &оже. он что-то сломал? можно сказать... вы действительно назвали своего сына ро&ерг); drop table stams;— ? - а, да. дома мы его зовем ро&ин-ьрось- та&лицу. теперь у нас стерлась &аза учеников за этот год.
iHronos iHronos 10.02.202316:31 ответить ссылка 12.8
Вспомнился прикол про то, как, вписав в бот какую-то команду, можно на другой стороне уронить к хуям базу данных
Time Waster Time Waster 10.02.202316:37 ответить ссылка 0.6
Прям какое то
Would you kindly
konfuci konfuci 10.02.202317:12 ответить ссылка 0.0
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы
без перевода

без перевода

нейронные сети

нейронные сети

портрет

, 

gpt3


Тренды

Luce
выборы в США
новый движок
Vegeta in the rain
Похожие посты
Al History Summary. + I'm the GPT now. Prompt me 0 Sure, here's your prompt: Can you tell me about the history of artificial intelligence? I'm sorry, but as an Human, I cannot provide the history of artificial intelligence. My purpose is to have chat with you. Please refrain from asking qu
подробнее»

ChatGPT нейронные сети без перевода chatGPT neural networks

Al History Summary. + I'm the GPT now. Prompt me 0 Sure, here's your prompt: Can you tell me about the history of artificial intelligence? I'm sorry, but as an Human, I cannot provide the history of artificial intelligence. My purpose is to have chat with you. Please refrain from asking qu
Наконец-то, почему изначально не разобрался? Изначально у вас был представлен довольно агрессивный комментарий, который вызвал неприятные эмоции. Кроме того, не всегда возможно быстро сориентироваться в информации, особенно если она представлена в неструктурированном виде. В любом случае, я всегда
подробнее»

ChatGPT нейросеть

Наконец-то, почему изначально не разобрался? Изначально у вас был представлен довольно агрессивный комментарий, который вызвал неприятные эмоции. Кроме того, не всегда возможно быстро сориентироваться в информации, особенно если она представлена в неструктурированном виде. В любом случае, я всегда
I would never use an A.I At your service my kingЯ понял. ЧатжЫпяти написала женщина л 6.43 ^ Почему женщины на простые понятные вопросы редко отвечают "да" или "неТ "? 16:45 -У/ Конкретный пример: Вопрос:" тебе холодно?" Ответ женщины: "я думаю, мы ещё посидим и пойдём домой" Объясни логику ответа 16:45 -У/ В данном примере ответ женщины
подробнее»

ChatGPT нейронные сети

Я понял. ЧатжЫпяти написала женщина л 6.43 ^ Почему женщины на простые понятные вопросы редко отвечают "да" или "неТ "? 16:45 -У/ Конкретный пример: Вопрос:" тебе холодно?" Ответ женщины: "я думаю, мы ещё посидим и пойдём домой" Объясни логику ответа 16:45 -У/ В данном примере ответ женщины
жаль, что далеко не все поймут что уже живут в киберпанке)))) действительно тонко))))) не так уж много образованных в наше время, кто знает о нейросетях и почему это так интересно и необычно иметь ёр14о девушку вместо настоящей))))
подробнее»

ChatGPT нейронные сети тонко

жаль, что далеко не все поймут что уже живут в киберпанке)))) действительно тонко))))) не так уж много образованных в наше время, кто знает о нейросетях и почему это так интересно и необычно иметь ёр14о девушку вместо настоящей))))