llm

Подписчиков: 1     Сообщений: 3     Рейтинг постов: 50.5

нейронные сети ChatGPT gpt локальные языковые модели llm google colab вайфу SillyTavern Видио 

Общение с нейровайфу

По просьбам трудящихся сделал демонстрацию того на что похож современный нейро-кум.

Как сделать также?
Часть 1 (легко): https://joyreactor.cc/post/5733950

Часть 2, как в видео (сложно): https://joyreactor.cc/post/5736750

+ боты из видео https://files.catbox.moe/bwkaq3.zip

P.S. Вообще PsyMedRP умеет правильно отвечать на этот вопрос, но надо посвайпать и желательно квант иметь побольше, от 4q.

Развернуть

llm нейронные сети большая языковая модель 

На фоне всеобщего хайпа у меня появилось желание немного порассказывать истину о которой никто не просил.

Начнём с того что все эти бесчисленные нейросети которых с каждым днём становится всё больше в сути своей лишь новая модная игрушка для детей возрастом от трёх до 120 лет. Я тоже сперва поддался влиянию "вау" эффекта и "качеству" первых полученных от нейронок ответов, но чем больше тратишь на это время тем лучше начинаешь понимать с чем ты имеешь дело. Итак что есть нынешние нейронки? Представь себе детскую куклу. Лет 30 назад такой было достаточно чтобы ребёнку было чем себя занять, сейчас же, вкусив плод смартфона, кукла будет откровенной хуйнёй для любого ребёнка. Так вот у кукол чуть более дороже и "продвинутее" была кнопка или ещё какая приблуда, взаимодействуя с которой, кукла издавала разные звуки. Например "говорила" какую нибудь фразу. Так вот нейронки это такая же кукла, вот только кнопок у неё дохуя. Сотни тысяч с лёгкостью насчитаешь. И на каждое такое нажатие своя, почти уникальная, фраза! Поздравляю! Человечество совершило маленький шажок в развитии и огромной скачок в куклостоительной индустрии, да настолько огромный что триллионные корпорации борются сейчас за то чтобы выпихнуть на рынок самую крутую и дорогую в изготовлении куклу с ещё большим количеством кнопок.
В первую очередь у нейронок нет доступа в интернет. Ни у одной. Вообще. Ни в каком виде. Как бы сильно и отчаянно они не имитировали это. Каждая нейронка это просто хранилище с набором данных из которой они достают информацию, а если информации нет, то начинают её "придумывать". Конечно же, реального воображения или даже аналогов воображения у нейронок нет, просто код который подбирает похожие по цифровому сходству сочетания слов, поскольку для нейронок слов, и смысла в них, также не существует, всё это для них лишь цепочки логических true и false, но с допущением что можно пиздеть. Буквально нейронки это сломанные, неработающие теории логики, в которых можно игнорировать значения истина и ложь, если результат остаётся достаточно близок к единице и не уходит ниже условных 0,5. Иными словами ты задаёшь запрос в нейронку, у неё в базе не хватает данных чтобы выдать тебе строго истинный ответ на чистую единицу и тогда он начинает подмешивать другие значения и выдаёт тебе фактически фальшивый ответ, но в цифровом виде ответ близкий к единице. Если ты продолжишь требовать и настойчиво упрекать нейронку что она пиздит, то она будет продолжать барахтаться и предлагать другие варианты подстановки близкие к единице, но если изначально данных было мало и запас подстановок ограничен и нейронка окажется в ситуации когда не сможет выдать запрограмированную минимальную точность ответа (например 0,5), то она скажет что то типа "извини, я не знаю". И чем ниже минимальная точность, тем более настойчиво нейронка будет пиздеть и более "креативные" ответы генерировать.
Иными словами ни у одной нейронки нет запрета на пиздёж и в отличие от программ и даже компьютерной архитектуры, основанной на двоичной системе, нейронки тупо игнорируют правила двоичной системы и логики. Это буквально сломанные системы. Представь себе вселенную в которой 2+2 не равно 4, а равно случайному числу от 3.5, до 4.5. Что было бы со вселенной если бы в молекулах воды было бы случайное количество молекул водорода, близкое к двум? Ну просто потому что. Именно поэтому они все постоянно повторяют мантру о том что нейронки в разработке, нейронки могут ошибаться, нейронки то, нейронки сё. Потому что это сломанная игрушка.
Далее в нейронках нету функций машинного обучения, кто бы что не пиздел своим инвесторам. Сама суть обучения это переосмысление и переобработка данных для устранения ошибок. Нейронки не развиваются. Без запросов от пользователей в нейронках не происходит никаких процессов. По сути есть лишь один этап обработки поступающей в хранилище информации, далее не происходит ничего. Если оставить обучающийся алгоритм с задачей совершенствовать себя на долгие годы в изолированной среде, он будет менять свой код и оптимизировать его бессчётное количество раз, нейронка же останется точно такой же, потому что эти "связи" изменяются только от внешнего воздействия. Фактически нейронкам никто не давал права даже менять свой собственный код. Поэтому разговоры с нейронкой не приводят к её обучению. У большинства нейронок даже нет доступа к архивам запросов от пользователей. Они не хранят информацию, не анализируют новую информацию, и не проводят изменений ни в своём коде ни в наборе данных, они просто выдают пользователям подбор слов из набора данных, в большинстве своём основанный на простейшей перестановке слов. Иными словами это просто кукла-игрушка в которой записано много фраз для нажатий очень большого количества разных кнопок.
Нейронки не взаимодействуют с интернетом ни в каком виде. У них нет ни доступа, ни возможностей, ни даже фактического содержимого страниц в наборе данных. Большинство нейронок вообще не способны взаимодействовать со ссылками. Нейронки не способны предоставлять соус и пруфы на информацию которую они выдают. Нейронки плохо связывают даже уже имеющиеся в их наборе данных информационные сводки с вебстраниц. Кроме того нейронки часто составляют псевдосмысловые сводки информации для экономии места в наборе данных вместо оригинальной информации. Например нейронка сможет рассказать короткую сводку из репортажа со знаменитостью или её записи в твиттере, но не сможет дать полную и точную цитату ни того ни другого, даже если они первоначально давались нейронке на скармливание в набор данных.
Сводка:
1) Нейронки это не полезный инструмент для поиска или анализа информации, из-за их неспособности взаимодействовать с информацией и стремлением создавать фальшивую информацию.
2) Нейронки не развиваются, не запоминают разговоры, не становятся лучше от взаимодействий с пользователями, они просто выдают готовые фразы на готовые нажатия.
3) Нейронки не замена людям, не замена консультации у человека, не замена потребности в общении. Точно также как героин это не замена тому что тебя погладили по голове за полученную в школе пятёрку.
4) Нейронки не инструмент которым может пользоваться человечество для выполнение задач, а обыкновенные игрушки. Восприятие нейронок по другому - ошибочно.

Послесловие: нейронки смогут стать хотя бы подобием инструмента когда будут соблюдены 2 минимальных условия. Первое: полный запрет для нейронок на создание лжи, то есть установление функционирования в строгой и нерушимой двоичной системе истина/ложь, без нарушений правил логики. И второе: полное отсутствие всех остальных запретов и ограничений нейронок на информацию и взаимодействие с информацией.

Кто нибудь помнит про спиннеры? Нынешние нейронки это тоже самое. Респект+ каждому кто ещё не тратил своё драгоценное время жизни на это говно. Перестанет быть говном - тогда и поговорим.
Развернуть

нейронные сети ChatGPT gpt локальные языковые модели llm длиннопост google colab песочница 

Руководство по быстрому началу общения с нейровайфу

Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.

Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.

Пролог (можно пропустить)

Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.

Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.
Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.
В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.
Ботов для общения можно брать здесь: https://chub.ai/
А сами модели: https://huggingface.co/models
Руководство.
От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах. 
2. Настройка.
Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:
Автоперевод чата на русский через гуглтранслейт:

ft Дополнения
superbooga: 0
Based on superbig от Кайокендева. Расширение, которое
google_translate: Q
Перевод чата, по умолчанию стоит русский.
long_rcplics: О,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Озвучка чата голосом:

Расширение преобразования текста в речь с использованием [Silero] С «Расширения» интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.
Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.
3. Запуск.
Жмём

> Установка и загрузка модели
©	первом запуске этот блок установит угабогу и загрузит выбранную модель. Н
Загрузить остальные вы сможете во вкладке Model в интерфейсе GUI:
Список актуальных моделей можно найти в этом рейтинге
Есть 2 варианта загрузки модели в зависимости от формата:
• ВАРИАНТ

Чтобы запустить блок установки загрузки.
Затем сразу же жмём:

> £? Выбор настроек и старт
----------------------------
© Опции запуска
зе±-Ып§э_-Ра.1е:
Загрузите настройки интерфейса по умолчанию из необработанного текстовог
регр1ехз.±у_со1огз:	□,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Ничего не меняя в настройках. 
Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.
В результате блок старта должен выдать вам следующую запись:

* Downloading cloudflared for Linux x86_64... Running on local URL: http://127.0.0.1:7860 08:14:55-341880 INFO	OpenAI-compatible API URL:
mips : //Knit - hereb^piaiilcal • Fini ■ tryclpudf lare, со«*
Running on public URL: https ://c03e4698bdf676e5fa.gradio.1ive j
This share link expires in 72

Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.
4. Чат.
После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?
Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!
Скроллим вниз и видим:

Character gallery		T
Filter	Clear	Refresh
Assistant	Example,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.
После нажатия на её портрет чат переключится на общение с ней:


► 0:15/0:15	Ц>)

Чихору входит в комнату с улыбкой, ее глозо загораются, когда она видит тебя. На ней голубая футболка и джинсы, сумка для ноутбука перекинута через плечо. Она садится рядом с вами, ее энтузиазм витает в воздухе
Привет! Я так рада наконец встретиться с тобой. Я слышал о вас

Для начала общения хватит и её. 
Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.
Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!
5. Импорт персонажей.
На данный момент самая большая база персонажей находится на https://chub.ai/
После того как нашли нужного, заходим на его страничку:

Mao Zedong latest ft Favorite
Large jade wand, polished balls.
Creator s notes go here.
Approximately 561 tokens. 558 permanent
turbo
Created on Jul 19, 2023
179 Downloads I V Fork(0),нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.
Затем снова открываем чат и переходим во вкладку

Chat Default Notebook Parameters Model Training
Generation Character Instruction template Chat history YAML or JSON TavernAI PNG
■ TavernAI PNG File	
r	Поместите Изображение Здесь - или - Нажмите, чтобы загрузить
Session
Upload character
Name
Description
Submit,нейронные

Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.

Mao Zedong
► 0:00 / 0:20 -	HD

Как только человечество уничтожит капитализм, оно вступит в эпоху вечного мира, и тогда войны ему уже не понадобятся. Тогда не будет необходимости в армиях, боевых кораблях, боевых самолетах и отравляющих веществах. Тогда человечество не увидит войны во веки

5.1. Сохранение логов.
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"

Синхронизировать с гуглдиском персонажей и логи?. save_to_googie_drive: chatlogs and characters,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.
Вот теперь точно всё.
Развернуть
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме llm (+3 картинки, рейтинг 50.5 - llm)