Руководство по быстрому началу общения с нейровайфу
Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.
Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.
Пролог (можно пропустить)
Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)
Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.
Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.
Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.
В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.
Ботов для общения можно брать здесь: https://chub.ai/
А сами модели: https://huggingface.co/models
Руководство.
1. Для начала заходим в колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах.
2. Настройка.
Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:
Автоперевод чата на русский через гуглтранслейт:
![Расширение преобразования текста в речь с использованием [Silero] С «Расширения» интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница](http://img1.reactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8276513.jpeg "нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница")
Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.
3. Запуск.
Жмём
Затем сразу же жмём:
Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.
В результате блок старта должен выдать вам следующую запись:
4. Чат.
После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?
Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!
Скроллим вниз и видим:
После нажатия на её портрет чат переключится на общение с ней:
Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.
Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!
5. Импорт персонажей.
На данный момент самая большая база персонажей находится на https://chub.ai/
После того как нашли нужного, заходим на его страничку:
Затем снова открываем чат и переходим во вкладку
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"
Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.
Вот теперь точно всё.
Отличный комментарий!