Языковая модель с нуля выучила новый язык, на котором не была натренирована.
Вчера компания Anthropic, один из главных конкурентов OpenAI, выпустила языковую модель Claude 3. Многие ее уже нахваливают на разный лад. Она стала первой моделью, чей IQ превышает 100 баллов. А так же продемонстрировала поведение, похожее на самосознание.
Но меня больше всего впечатлил вот этот пример:
Пользователь твиттера, видимо, лингвист по профессии, протестировал Claude 3, загрузив в него 5700 пар перевода с кабардинского на русский. Он просто прикрепил документ к промпту. Переводные пары представляли собой как отдельные слова, так и целые предложения. Это была рандомная выборка из набора в 64 тысячи пар, который он кропотливо составлял годами, чтобы получить нормальный машинный кабардино-русский перевод.
А потом он попросил модель перевести запросы. Начал с простого "Я лежу в кровати". Модель идеально перевела на кабардинский и сделала грамматический и морфологический разбор.
Возможно, это самое предложение было в прикрепленном документе с примерами? Тогда он составил более сложное предложение, которое не могло встретиться в документе. Снова с идеальным результатом.
Дальнейшие тестирования на литературных текстах, новостных статьях и даже на других кабардинских диалектах с другой грамматикой показали, что модель постоянно демонстрирует глубокое понимание структуры языка, догадывается о смысле незнакомых терминов, правильно использует заимствованные слова, дает этимологический анализ, сохраняет стиль оригинального текста и даже придумывает новые термины, когда об этом просят. Чтобы достичь подобного уровня, лингвисту, не знакомому с языком, потребовалось бы не меньше года. А Claude 3 потребовалось 5700 пар перевода и менее минуты.
Чтобы исключить возможность того, что среди тренировочных данных Claude 3 было что-то вроде кабардинско-русского переводчика, чувак попробовал те же промпты, не прикрепляя документ с парами перевода. Модель отказалась переводить, сказав, что она не знакома с языком.
Он также попробовал проделать то же самое с GPT-4, скормив модели тот же самый документ, и ничего не получилось, модель отказалась переводить даже самые простые предложения.
