Общение с нейровайфу
По просьбам трудящихся сделал демонстрацию того на что похож современный нейро-кум.
Как сделать также?
Часть 1 (легко): https://joyreactor.cc/post/5733950
Часть 2, как в видео (сложно): https://joyreactor.cc/post/5736750
+ боты из видео https://files.catbox.moe/bwkaq3.zip
P.S. Вообще PsyMedRP умеет правильно отвечать на этот вопрос, но надо посвайпать и желательно квант иметь побольше, от 4q.
Подробнее
SillyTavern + Text generation webui + Google translate + дополнения + генерация голоса в Silero
нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,google colab,вайфу,SillyTavern,Видио
Еще на тему
От диалогов среднестатистической ВНки мало чем отличается.
Го какой ни будь дискорд или где тебе удобней?
ЗЫ не нашел личку на джое)
А так может у кого схожие с твоими вопросы возникнут и он позже прочитает.
Программа с гитхаба при запуске с "start_windows.bat" вроде стартует и в браузере открывается. но ничего не генерит. Нужен *model*, но там только none. Как и что туда подставить и заставить его наконец, жрать ресурсы моего компа)
ЗЫ отдельно отмечу что купил токенов на клабе. и почти все потратил. но последние 10 по сути выкинул на старты. оно перестало работать. пишет смайлики и выдает ошибку или ничего не пишет и оставляет пустое поле.
Среду пробовал и t4 и a100 и v100. результат один и тот же.
Ничего себе ты даёшь О_о
Я сам предпочитаю обходиться 10 гуглакками, т.к. у каждого свой отдельный лимит, где-то часа 4 в сутки. Доплачивать даже в голову не приходило...
По идее колаб не мог перестать работать сам по себе, т.к. при запуске ты по сути каждый раз устанавливаешь всё с нуля как в первый. Проблема может быть в переполнении контекста, интерфейс text-generation-webui не умеет удалять начало чата как таверна и когда твоя беседа переполняет 4к токенов модель может начать сходить с ума.
Но ты похоже решил запустить text-generation-webui локально.
Модели надо кидать в папку text-generation-webui-main\models\*название модели*
Но лучше загрузить через веб-интерфейс: Во вкладке "Model" есть вкладка "Download model or LoRA". Там есть поле, куда тебе нужно вставить *Название организации/Название модели* с сайта https://huggingface.co/models
Какие модели скачивать - отдельная сложная тема, но если кратко:
GGUF - запускаются на процессоре Model loader во вкладке "Model" - Llama.cpp
GPTQ - запускаются на видеокартах Нвидиа Model loader - exllama
exl2 - запускаются на видеокартах Нвидиа Model loader - exllama2
Названия моделей можешь брать либо из колаба, либо из этого рейтинга: http://ayumi.m8geil.de/ayumi_bench_v3_results.html
Ещё ты можешь установить Таверну по руководству из поста https://joyreactor.cc/post/5736750 и использовать Stable Horde. Если не ставить разные приблуды, то установка не сложная.
Ещё, если ничего из перечисленного осилить не выйдет, есть такая максимум юзерфрендли штука: https://faraday.dev/
Ставится в несколько кликов, модели и ботов грузит сама. Я про неё не писал т.к. она работает только локально и сильно ограничена в возможностях, даже по сравнению с text-generation-webui, но в целом сильно проще всего остального.