Руководство по общению с нейровайфу. Часть 2. Глупая Таверна.
Привет всем кто в теме и кто только присоединился!
Предыдущийпост https://joyreactor.cc/post/5733950
Рассказывал о том, как быстро и просто запустить локальную языковую модель на удалённом сервере google colab и начать общение нейротян.
Но теперь настало время взяться за дело серьёзно, встречайте:
Простое руководство по SillyTavern.
(автор не гарантирует, что написанное строчкой выше правда)
Предварительнаяустановка
1. Переходим поссылке https://nodejs.org/en/download искачиваем LTS версию. Нам подойдет и она.
2. Когда скачали,запускаем установку.
3. (опционально)Перейдите по ссылке https://git-scm.com/downloads и скачайте Git,для упрощения обновлений и прочего.
4. (опционально) Переходимпо ссылке https://www.python.org/downloads/ и качаем питонпоследней версии. Не то чтобы он был вообще нужен для установки таверны, но разуж мы начали идти по пути LLM, не стоит останавливаться надостигнутом!
5. Установка завершена.Переходим к самой таверне.
Установка SillyTavern.
С использованием Git:1. Выбираем папку, нажимаем ПКМ, git bash HERE.
2. Вводим в консоль git clone https://github.com/SillyTavern/SillyTavern
3. Для того что бы установить staging branch добавляем после ссылки -b staging
4. Всё устанавливается
Без использования Git:
1. Переходим поссылке https://github.com/SillyTavern/SillyTavern/tree/staging
2. Нажимаем на зеленую кнопку Code и download zip
3. Теперь, когда мы скачали наш ZIP архив (не важно, стейджинг ли этоверсия, или обычный релиз)Мы берем и открываем ZIP (архив) и достаем оттуда папку, в любое удобное намместо.
*Лично я предпочитаю именно этот метод, сохраняя вотдельной папке каждую новую версию таверны, начиная с момента, когдасуществовала только оригинальная TavernAI, ещё храню в каждойпапке полный набор актуальных на тот момент скриптов, промптов и персонажей.Зачем? Вдруг пригодится!
Запуск таверны
После этого мы запускаем start.bat
Когда мы запустили start.bat, мы видим NPM install. Нам нужно дождатьсяустановки, затем оно само запустится.
*Если вам пишет missing module название модуля, то нужно ввестикоманду npm install название модуля, и так пока вы не установитевсе нужные.
Когда установка закончится, автоматически откроется вкладка браузера с интерфейсом таверны.При первом запуске вы увидите сообщение
Которое предложит вам заранее ввести имя, по которому к вам будет обращаться модель. Можете оставить его как есть и представиться кем угодно походу беседы, либо ввести своё имя, но тогда к вам всегда будут обращаться по нему. (Старые модели вроде Pygmalionвместо User, определяют пользователя как You)
*Также вам предложит включит упрощённую версию интерфейса. НЕ ДЕЛАЙТЕ ЭТОГО!Раз уж вы решили идти дальше пути текстовых нейросетей то привыкайте страдать!
Подключение к нейросети.
Теперь настало время изучить иконки расположенный сверху
Но делать это мы будем не по порядку, начнём с главного, источника. Тавернаэто очень удобный, но всё-же фронтенд. Иконка API предлагает нам выбратьоткуда конкретно мы будем черпать нейросетевые ресурсы.
Рассмотрим основные пункты, представляющие практический интерес.
1. Text Completion.
Первый пункт «TextCompletion» Предлагает вам подключить к вашей таверне в качестве бекэнда text-generation-webui.
О том, как его запустить написано в предыдущем посте. Ссылка на колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
Но прежде чем использовать его как API,убедитесь что отключены google translate и sileroTTS, они будут мешать генерации.
Чтобы подключить запущенный webui к таверне Скопируйте ссылку после строки'OpenAI-compatible API URL:' и вставьте её в 'Server URL'
При запуске локально дефолтный адрес подключения http://127.0.0.1:5000/api
2. KoboldCPP.
Этот пункт предлагает нам подключить к таверне аналог text-generation-webui,под названием «Koboldcpp»
Главных отличий от предыдущего сабжа два:
- Кобольд предназначен для запуска моделей,оптимизированных для процессора. Сейчас это формат GGUF
- Сильно проще в локальном запуске на Windows. Всегоодин exeфайл,после запуска которого вам предложат выбрать файл модели кнопкой «Browse». Изнастроек для начала можно выставить контекст в размере 4096. Для запуска этогоуже достаточно.
У кобольда есть даже свой интерфейс чата, но он сильноуступает как webui так и таверне.
В качестве API URL в таверне вводим http://127.0.0.1:5001/api
Скачать последнюю версию можно здесь: https://github.com/LostRuins/koboldcpp/releases/
Почитать о разных загрузчиках и прочих вы можете на основнойстранице гитхаб: https://github.com/LostRuins/koboldcpp
Если ваш комп не тянет, есть также колаб: https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb
Куда же без него.
3. ChatCompletion
Здесь нам предлагается подключиться к APIсоответствующихсервисов, при условии, что у нас есть ключ.
Выбираем поставщика, вводим ключ, радуемся! В целом всёпросто (кроме получения самого ключа)
4. KobaldAIHorde.
Но не печальтесь, если у вас нет ключа к GPT4 Turbo, нам поможет сервис AIHorde https://horde.koboldai.net/
(это не троллинг если что, нет правда!)
Более того, это, пожалуй, самый интересный пункт, потому чтоон позволяет нам сразу, без танцев с бубном, подключиться к языковой модели.
Всё что нам нужно это поставить курсор в поле Модели ивыбрать любую из них:
*Модели из списка работают на аппаратных мощностях участников сообщества и доступны для бесплатного использования! НО когда много людей сидит на одной модели, образуется очередь, а у анонимных подключений приоритет в очередях самый низкий.
Если хотите получить преимущество, регистрируйтесь https://horde.koboldai.net/registerЗа это вам выдадут личный ключ API, который можно будет вбить в таверну. Далее устанавливайте хорду и фармите Кудосы помогая людям, не имеющим мощного железа, приобщаться к нейронкам!
Какая модель лучше вопрос спорный.
Можете, например поизучать этот рейтинг: http://ayumi.m8geil.de/ayumi_bench_v3_results.html
По мне так методика тестирования в Аюми такая себе, но ничего лучше пока не встречал.
При подключении, не забудьте выставить галочку «Уточнить длину ответа в соответствии с возможностями рабочих машин» Иначе получите ошибку, если контекст установленный на сервере будет меньше вашего.
В принципе после этого уже +- можно начинать общение!
Поэтому переходим к обзору основных нюансов общения с нейровайфу.
Песеты настроекгенерации.
Первая из них это параметры генерации модели.
Главное, на что здесь стоит обратить внимание это
1. Длина ответа в токенах – ограничивает размер ответа модели.
2. Размер контекста – сколько текста вы посылаете нейросети при каждом запросе*
* тут стоит сделать небольшое отступление: многие думают, что общение с нейросетью происходит как с человеком. Вы ей что-то пишите – она на это запоминает и учитывает в последующих ответах. Это не совсем так: языковая модель может дать всего один ответ на один запрос. Памяти как таковой ни у одной современной LLM нет в принципе. Так как-же тогда происходить длинная переписка? Очень просто: в качестве запроса модели КАЖДЫЙ РАЗ посылается история всей вашей предыдущей переписки, она обрабатывает всю эту гору текста и отвечает один раз что она обо всём этом думает. Далее этот процесс повторяется, но в запрос включается предыдущий ответ нейросети.
Контекст - это максимальное количество текста, которое модель способна обработать. Если ваша беседа его превысит, таверна автоматически начнет удалять ваши сообщения, начиная с первых, а модель «забывать» с чего всё началось.
Оранжевая пунктирная полоска в чате таверны показывает до какого момента беседа входит в контекст.
3. Температура – один из важнейших параметров, отвечающий за «креативность» модели. Чем он выше, тем более разнообразным и менее адекватным будет ответ модели. Какую температуру, когда выставлять, лучше всего выяснить методом тыка. Но для небольших локальных моделей, как правило подходит температура 0.6-0.8, для более крупных, например, ChatGPT– 0.9-1.
Что же касается остальных параметров, на начальном этапе не стоит уделять им слишком много внимания. Можете подробно прочитать о них в вики таверны.
Всё что нужно знать, это то что они уже должным образом настроены в соответствующих пресетах.
Вы можете попробовать все и выбрать подходящий в зависимости от результатов. Но для начала советую выбрать “simple-proxy-for-tavern”или “Storywriter”, а далее играться с температурой.
Форматирование.
Эти настройки также оказывают очень большое влияние на генерацию, т.к. они определяют в каком виде модель будет получать ваши запросы.
Для локальных моделей часто критически важно выбрать нужное форматирование, от него будет завесить поймёт ли вас модель вообще.
ШаблонRoleplay один из самых универсальных, его понимают как крупные модели, вроде ChatGPT, таки локальные от 30-70В.
Но влокалках всё же стоит выбирать соответствующий им шаблон, это сделает модельгораздо «умнее».
Одним из самых распространённых является Alpaca, просто потому что большинство моделей основаны на ней. Но есть и исключения, список которых вы увидите, открыв вкладку «Предустановки».
Если по названию модели не понятно чьим файньтюном она является, попробуйте найти её страницу на https://huggingface.co/models
Там как правило указано откуда ноги растут.
С основными приготовлениями на этом мы закончили. Теперьпереходим к самому интересному – общению с нейротянами! Основные сопутствующиефишки рассмотрим по ходу дела.
Импорт персонажей.
В таверне уже имеется набор стандартных персонажей.
Вы можете побеседовать и с ними, но, чтобы показать максимум возможностей таверны, лучше сразу перейдем к добавлению новых.
Карточки персонажей можно найти на сайте: https://www.chub.ai/
В поиске находим нужного персонажа и скачиваем PNGфайлдля SillyTavern
https://www.chub.ai/characters/thecentuaro/rin-tohsaka
Карточку персонажа кидаем в SillyTavern-staging\public\characters
Туда же извлекаем изображения из архива Expressions, папку не переименовываем, она должна соответствовать имени персонажа.
Лорбук же кидаем в SillyTavern-staging\public\worlds
Теперь можно обновить вкладку с таверной и нажать на иконку с появившимся персонажем.
![¿+ ¡j £% *•£ floncK...
A-Z
*x*; p ^
1-4 of 4 < > 50/page v ffl
Coding Sensei vi.010101
m Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t..
(ST Default]
Flux the Cat
ST Default Bot contest winner: creative prompts category
(ST](http://img2.reactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8281127.png "нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу")
Но при открытии мы увидим что чат на английском, а Рин обращается к нам как к Юзеру.
Чтобы исправить жмем на иконку Расширения и открываем вкладку Chat Translation
Здесь выбираем пункт Translation both, Googleи Русский язык.
Затем идём во вкладку «Миры» и выбираем Fate, чтобы беседа была более каноничной.
«Лордбуки» это сборники кратких сведений о мире или персонажах, в дополнение к основной карточке. Интересны они тем что, в отличие от карточки, количество записей в лорбуках не ограничено. Просто, когда речь аходит о каком-то событии или термине, название которого совпадает с записью влорбуке, таверна добавляет эту запись к промпту, чтобы модель понимала о чём идёт речь.
Я пару раз использовал лорбук для того чтобы написать персонажей с очень сложной предысторией, на десяток тысяч токенов) и это прекрасно работало при контексте всего в 4к.
Кроме того лорбук вполне можно использовать как замену «памяти» бота, записывая в него занимательные факты из вашего общения. Минус в том, что делать это надовручную.
Теперь заглянем в раздел Управления персоной. Здесь вы можете как описать свою личность, так и притвориться кем-то другим. Лично я всегда предпочитаю писать правдивое описание себя, ведь именно так вас будет воспринимать бот.
Кроме того, можно выбрать (или сгенерировать, об этом позже) подходящий фон беседы
По большей части всё – можно беседовать!
Стрелка справа от ответа персонажа это «свайп», при нажатии на неё сгенерится другой ответ, но вы всегда можете вернуться к предыдущему. Карандашик позволяет отредактировать любую реплику, как свою, так и бота в любой момент. Это очень полезно, если вдруг появилось желание разыграть другую сцену или просто что-то слегка подправить.
При нажатии на иконку персонажа, вы увидите его описание, которое точно также можно изменить в любой момент.
Что-ж, это был необходимый минимум, для начала использования таверны.
Но для тех, кому этого мало, продолжаем!
Особые возможности.
Преобразования вашей речи в текст. (STT) (понадобится микрофон)
Открываем расширения, вкладку «Download Extensions &Assets» и жмём кнопку подключения, соглашаясь с всплывающим сообщением.
Появится длинный список из разного рода улучшалок. У всех есть описания и их все вы можете попробовать самостоятельно, но я советую начать с «Speech Recognition»
После установки в расширениях появится новая вкладка. В ней нужно выбрать «браузер» и Русский язык. После этого рядом с кнопкой отправки сообщения появится также иконка микрофона, нажимаем её и говорим.
Преобразование текста в речь (TTS)
Дальше будет чуть сложнее, потому что теперь мы дадим голос ещё и нашей вайфу!
Для этого понадобится настроить вкладку расширений TTS.
Здесь интереснее всего 2 пункта: Silero и XTTSv2.
Результат работы Silero вы могли слышать в колабе text-generation-webui.Но в таверне подключение этого модуля на русском языке вызывает некоторое количество боли, так что как-нибудь в другой раз.
Поэтому подключаем https://github.com/daswer123/xtts-api-server
Вы можете установить его локально, следуя инструкции, но для начала лучше попробовать колаб: https://colab.research.google.com/drive/1b-X3q5miwYLVMuiH_T73odMO8cbtICEY?usp=sharing#scrollTo=nLS9QDgnrUmR
В настройках в строке Model_source: выбираем «apiManual»
Затем просто запускаем все ячейки по очереди сверху вниз, пока в консоли последней не получим строчку
![> Using model: xtts
2024-01-13 14:08:13.355 | INFO | xtts_api_server.tts_funcs:load_model:193 - Model successfully loaded INFO: Started server process [1364]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://127.0.0.1:8020 (Press CTRL+C](http://img2.reactor.cc/pics/post/full/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8281138.png "нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу")
После этого прокручиваем консоль в самое начало и ищем ссылку
Именно её нужно вставить в таверну:
![XTTSV2
v Reload
O Enabled
0 Narrate user messages O Auto Generation 0 Only narrate "quotes"
O Ignore *text, even "quotes", inside asterisks* O Narrate only the translated text 0 Skip codeblocks [Default Voice]
disabled v
Ignat
(Default Voice] v
Rin Tohsaka
female v
Language
Russian v](http://img2.reactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8281140.png "нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу")
После этого настройки должны выглядеть так. Если поля с выбором голоса персонажа не появилось, перезагрузите страницу и снова войдите в чат с персонажем. Ползунки можно пробовать двигать, чтобы получить другой результат.
Голос для персонажа нужно выбрать обязательно, иначе он не заговорит.
Запустить озвучку фразы можно кнопкой
Но если вы настроили всё как на картинке, генерация будет идти автоматически после ответа.
Эмоции и сумморайз.
Теперь мы наконец-то можем общаться в живую! Но как-жевизуальный контакт? Разумеется, это тоже не обошли стороной, именно для этого мы с вами скачивали спрайты эмоций в папку с персонажем!
Для этого нам понадобится запустить отдельный сервер расширений.
Итак, идём на гитхаб https://github.com/SillyTavern/SillyTavern-Extras
Лучше поставить всё это локально следуя инструкции на странице (что гораздо удобнее для повседневного использования).
Но попробовать можно и в колабе (не опять, а снова)
https://colab.research.google.com/github/SillyTavern/SillyTavern/blob/release/colab/GPU.ipynb
Ничего не меняем, запускаем последнюю ячейку и ждём ссылки
Ссылку вставляем в нижнее поле окна Расширения
И вот, мы уже можем общаться лицом к лицу! Алилуйа!
Спрайты персонажа будут меняться в зависимости от его «эмоций». Кроме того, они могут быть анимированы (но встречаются такие редко).
Также стоит упомянуть о вкладке Summarize в расширениях.
Это очень полезная штука, увеличивающая «память» бота. Работает это так: в какой-то момент, пока размер контекста ещё не превышен, модель кратко конспектирует суть происходящего. Затем этот «конспект» будет отправляться вместо не входящей в контекст истории чата.
![Summarize with:
Extras API
Current summary:
Summary will be generated here...
S Pause
O Summary Settings Insertion Template [Summary: {{summary}}]
Injection Position
• Before Main Prompt / Story String O After Main Prompt / Story String
• In-chat @ Depth 2
Restore Previous
•](http://img2.reactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8281146.png "нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу")
![Summarize &
Summarize with: Main API
/\
Current summary: Restore Previous
[Taking the above information into consideration, you must chat in a roleplaying manner with Rin Tohsaka. Never write for Rin Tohsaka in your | responses.]
*As Rin and Ignat continue their training session together,](http://img2.reactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8281147.png "нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу")
Есть два варианта конспектирования: С использованием основной модели (будет генерироваться как дополнительная реплика, с той же скоростью), либо с использованием специальной модели в сервере расширений (но тогда этот сервер должен быть запущен и подключен).
Групповые чаты
Но чего-то не хватает… Правильно, зачем общаться с одной аниме-тян, когда можно общаться с двумя?!
Выбираем опции в левом нижнем углу чата и жмём «превратить в группу»
Переходим в меню персонажа и в настройках открываем вкладку «добавить членов»
После чего составляем нужный нам для досуга список.
Генерация иллюстраций к чату.
Так, что же ещё нам может понадобиться? Конечно же иллюстрация происходящего с помощью Stable Diffusion!
На выбор есть несколько вариантов. Если у вас подключен сервер API, вы можете сгенерировать картинку через встроенный SDмодуль. Также можно подключить через APIсобственныйзапущенный StableDiffusion.Но мне больше нравится вариант StableHorde,т.к. он всегда доступен и не требует дополнительных модулей.
Жмём на волшебную палочку в нижней левой части чата и выбираем Generate Inage и далее один из пунктов
Это может быть неплохой заменой спрайтам эмоций, превращающей чат в графическую новеллу.
Но учтите, что перед генерацией картинки, ваша текстовая модель сгенерирует для неё промпт. Так что всё это может занять дополнительное время.
Конечно в таверне ещё много фишек и настроек, но пока думаю стоит на этом остановиться.
Спасибо всем, кто дочитал до этого момента не пролистывая!
P.S. Если вы, чтобы не ждать очереди в Хорде, запустили LLMв колабе Text Generation WebUI, затем чтобы не устанавливать TTS, запустили в колабе и его, и в конце то же самое сделали с сервером дополнений, то поздравляю, у вас фуллхаус!
Подробнее
Welcome to SillyTavern! • Read the Official Documentation. • Type /help in chat for commands and macros. • Join the Discord server for info and announcements. SillyTavern is aimed at advanced users. If you're new to this, enable the simplified UI mode below. ■ Enable simple UI mode Before you get started, you must select a user name. This can changed at any time via the 0 icon. User Name: User Save Отменить
API Text Completion API Type Default (oobabooga) oobabooga/text-generation-webui Убедитесь, что при запуске указали аргумент --extensions openai Server URL Example: http://127.0.0.1:5000 https://minolta-analysts-among-madrid.trycloudflare.com/ Custom model (optional) Подключить Ш Legacy API (pre-OAI, no streaming) Ш Bypass status check Ф Kooten_Emerhyst-20B-3bpw-exl2 О Автоматическое подключение к последнему серверу Посмотреть скрытые А
▼ API Text Completion API Type KoboldCpp LostRuins/koboldcpp API URL Example: http://127.0.0.1:5001 http://127.0.0.1:5001 Подключить koboldcpp/openhermes-2.5-mistral-7b.Q5_K_M О Автоматическое подключение к последнему серверу
c KoboldCpp v1.48.1 Quick Launch Hardware Tokens Model Network Quick Launch Presets: Threads: BLAS Batch Size: «/ Launch Browser □ Use SmartContext s/ Use ContextShift Context Size: Model: Update Save Load Help Use OpenBLAS 5 512 □ High Priority □ Disable MMAP □ Remote Tunnel 4096 Browse X ~ 6/7 Launch
API Chat Completion Источник для Chat Completion OpenAI OpenAI Window Al OpenRouter Claude Scale AI21 Google MakerSuite MistralAI | Custom (OpenAI-compatible)___________________________ Модель OpenAI gpt-3.5-turbo ■ Bypass API status check Ш Показать "сторонние" модели (предоставленные API) Подключить Test Message No connection... О Автоматическое подключение к последнему серверу Посмотреть
API-КЛЮЧ Получить здесь: Регистрация (Посмотреть мой penrnHr(Kudos)) Вставьте 0000000000 чтобы использовать анонимный режим. X Missing key Модели С* Select Horde models koboldcpp/LLaMA2-13B-TiefighterLR (ETA: 334s, Speed: 16.3, Queue: 5459, Workers: 1) koboldcpp/crestfall-mythomax-L2-13b-q5_k_m (ETA: 233s, Speed: 14.9, Queue: 3478, Workers: 1) aphrodite/s-pygmalion-2-7b (ETA: 90s, Speed: 13.4, Queue: 1210, Workers: 1) koboldcpp/Chronomaid-Storytelling-13b (ETA: 268s, Speed: 13.4, Queue: 3600, Workers: 1) koboldcpp/Noromaid-v0.1-mixtral-8x7b-v3 (ETA: 22s, Speed: 13.4, Queue: 2448, Workers: 8) koboldcpp/Nous-Hermes-2-SOLAR-10.7B (ETA: 225s, Speed: 13.1, Queue: 2960, Workers: 1) koboldcpp/LLaMA2-13B-Psyfighter2 (ETA: 291s, Speed: 12.2, Queue: 7119, Workers: 2) aphrodite/Gryphe/MythoMax-L2-13b (ETA: 118s, Speed: 10.2, Queue: 10852, Workers: 9) koboldcpp/openhermes-2.5-mistral-7b-8k.Q8_0 (ETA: 565s, Speed: 9.9, Queue: 5600, Workers: 1)
О Уточнить размер контекста в соответствии с возможностями рабочих машин О Уточнить длинну ответа в соответствии с возможностями рабочих машин ■ Только доверенные рабочие машины Context: 1024, Response: 256
т ¥ а I ¿0 И & 9 Е£ ^ Можно установить вручную, использовав цифру рядом с ползунком е Предустановки Kobold О RecoveredRuins V u ra a t Л т Длина ответа (в токенах) Размер контекста (в токенах) 400 8192 * в Неограниченный О Температура О Тор-кО 1,00 0 ТорРО Typical Р О 0,95 * 1 * Min Р О Top-а О 0 0 Бесхвостовая выборка О Rep. Реп. 1 1,10 Диапазон Rep. Реп. Rep. Реп. Склон 600 0 Mode О Mirostat Tau О Eta О 0 5 0,1 Ш Заблокировать EOS-токен О Зерно -1
Расширенное форматирование Шаблон контекста Roleplay v V В Гв -5 Ы* DD Строка истории You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}. {{#if system}K{system}} {{/if}}### Input: {{#if wi Before }K{wi Before}} {{/¡OH{#ifdescription}}{{description}} {{/¡OK{#if personality}K{char}}'s personality: {{personality}} {{/¡f}H{#if scenario}}Scenario: {{scenario}} {{/ if}K{#if wiAfter}K{wiAfter}} {{/¡OK{#if persona}K{persona}} {{/if}} А Пример разделителя Начало чата ### New Roleplay: л ### New Roleplay: Ш Use as Stop Strings Режим "Инструктаж" Ш Включен Ш Bind to Context Предустановки Roleplay ^ v а Гв -s ь 1 Активация Regex О Отделять последовательности красной строкой О Заменить макросы в последовательности О Показывать имена О Усилия для Групп и Персон Системная инструкция Avoid repetition, don't loop. Develop the plot slowly, always stay in character. Describe all actions in full, elaborate, explicit, graphic, and vivid detail. Mention all relevant sensory perceptions. Форматирование контекста (Saved to Context Template) О Всегда добавлять имя персонажа в инструкции Ш Generate only one line per request Ш Обрезать неоконченные предложения Ш Использовать красную строку Misc. Settings Ш Collapse Consecutive Newlines О Обрезать пробелы Токенайзер О Best match (recommended) v Заполнение токенов О 64 Начинать ответ с Префикс Ответ ИИ А О Показывать префиксы ответов в чате Строки без разметки разделять запятыми без пробелов между: Настройка ограничивающий нитей JSON ориентированный набор нитей ["Ford", "BMW", "Fiat"] А 0 Заменить макрос в пользовательских стоп-строках Auto-Continue Ш Включен Ш Allow for Chat Completion APIs Target length (tokens) 400 Последовательности режима обучения О
Adventure Alpaca-Single-Turn Alpaca ChatML Koala Libra-32B Lightning 1.1 Llama 2 Chat Metharme Mistral OpenOrca-OpenChat Pygmalion Roleplay Story Synth ia Vicuna 1.0 Vicuna 1.1 WizardLM-13B Wizard LM s im ple-p roxy-fo r-tavern
¿O S if Favorite characters to add them to HotSwaps £+ -Q {% Поиск... A-Z ®(g)®® ____________________ 1-3 of 3 < > 50 /page v ffl jg* Coding Sensei vi.010101 fefeau. Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t.. kmofanitl 0 [ST Default] Flux the Cat ST Default Bot contest winner: creative prompts category fST Default) Seraphina я* M ST Default Bot contest winner: roleplay bots category 1ST Default!
Rin Tohsaka LATEST <T Favorite Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night. Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night. It is currently lunch break and Rin Tohsaka is waiting for you on the school rooftop, normally closed. It's where he shares information with her as part of her deal with this apprentice mage. As he enter she looks at him while wearing a playful expression and greets him with a teasing smile while fluttering the hem of her skirt... TAVERN Female Famous People Game Characters Anime Fantasy 1 Discussion Anime Game Characters Tsundere Cooperative Fate Stay Night Fate ■ü A V2 AT Gf AgnAI Gft#l Fate Grand Order Magical girl Human Action Love Romance Gf "r GT T A 0 A & A « Expressions Pack Expressions Approximately 1357 tokens, 1059 permanent Created on Jun 20, 2023 Last Updated 19.10.2023, 10: ) V Fork (3) 5907 Downloads
Link a Lorebook Any number of linked books is allowed. They will be built into the card's embedded character book on V2 cards. Use the full path of the project, e.g. 'lorebooks/bartleby/example-lorebook'. ^ Fate Lorebook Fate series basic lores Fate Approximately 10177 Tokens gimc25419 Jun 16, 2023 Embedded Character Book Create Embedded Character Book ★ ★ ★ ★ ★ (2) A T A AgnAI A 1942 I V 1 No Commit Permissions
w Rin Tohsaka default_Seraphin a.png Seraphina README.md main_rin-tohsaka _tavern.png default_CodingS ensei.png default_FluxTheC at.png
Имя Дата изменения Тип Размер О ЕИопа^оп 12.01.2024 17:20 Файл 'МБОМ" 6 КБ О fate-lorebook_s¡llytavern.json 13.01.2024 19:41 Файл 'МБОМ" 89 КБ □ README.md 12.01.2024 17:20 Файл "МО" 1 КБ
¿+ ¡j £% *•£ floncK... A-Z *x*; p ^ 1-4 of 4 < > 50/page v ffl Coding Sensei vi.010101 m Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t.. (ST Default] Flux the Cat ST Default Bot contest winner: creative prompts category (ST Default] 1.0.2 Rin Tohsaka •v5r'' 4/ > Seraphina w\ || ST Default Bot contest winner: roleplay bots category (ST Default] 1.0.0
.*• Rin Tohsaka January 13.2024 7:52 PM ■ -r C , ■ f v It is currently lunch break and Rin Tohsaka is waiting for User on the school rooftop, #0 normally closed. It's where he shares information with her as part of her deal with this apprentice mage. As he enter she looks at him while wearing a playful expression and greets him with a teasing smile while fluttering the hem of her skirt. "Hey User, it's pretty hot today isn't it?" She looks at his face, waiting for his reaction. She's enjoying their friendship as he is pretty nice and easy to tease. Rin wanted to talk to User about an important topic and was waiting for him on the roof, a little annoyed at his lateness, clicking her tongue. Finally, when he appears, she begins to growl contentedly. "Well, how long did I have to wait for you? You're late! Again!"
т * a s £» и & т s Расширения Ш Notify on extension updates & Manage extensions £% Install extension Download Extensions & Assets Character Expressions Image Generation Image Prompt Templates TTS Quick Reply Chat Translation Auto-mode Translate both Provider Google Target Language Russian ® Clear Translations Image Captioning Summarize Regex Vector Storage Extras API: SillyTavern-Extras http://localhost:5100 He подключено... Ш Автоматическое соединение Extras API key (optional) Подключить QQOOQQG OOOQ
£ Миры/Сведения 9 Активные миры для всех чатов * fate-lorebook_sillytavern Activation Settings ($> New или Редактировать v £ /-* КУ Priority V •о и л в а е + P S Ü, la DD Поиск... IIL.I\IIIU I ICI LUI lUUC. Г11IUII V, MUCH MC UUUCUM,
Управление Персоной Как мне это использовать? Usage Stats Backup -5 Restore f© Создат Имя Ваша Персона Ignat Описание Персоны ^ 6 С Race: Human Height: 199 cm. Weight: 120 kg. Penis size: 35 cm. Description: Athletic young man with short hair. His pumped-up figure is adorned with muscle definition noticeable even through his clothes, his posture is perfectly straight, and his gaze is full of confidence. He looks like an ancient Greek deity descended from heaven. A Tokens: 93 Положение: В строке истории/Менеджер подсказок О Показывать уведомления о смене персоны V
A bedroom tatami ff1*' j f «I '(* cityscape medieval night japan classroom side japan classroom japan path cherry blossom bedroom clean System Backgrounds S Auto-select cityscape medieval market .transparent bedroom cyberpunk > ; . . - ■ forest treehouse fireworks air baloons (by kallmeflocc) _black bedroom red white japan university
▼ А Rin Tohsaka January 13.2024 8:35 PM V Сейчас обеденный перерыв, и Тосака Рин ждет Игната на крыше школы, которая обычно закрыта. Здесь он делится с ней #0 информацией в рамках ее сделки с этим учеником мага. Когда он входит, она смотрит на него с игривым выражением лица и приветствует его с дразнящей улыбкой, трепыхая подолом юбки. «Эй, Игнат, сегодня довольно жарко, не правда ли?» Она смотрит на его лицо, ожидая его реакции. Ей нравится их дружба, потому что он очень милый, и его легко дразнить. Рин хотела поговорить с Игнатом на важную тему и ждала его на крыше, немного раздосадованная его опозданием, цокая языком. Наконец, когда он появляется, она начинает довольно рычать. «Ну и сколько мне пришлось тебя ждать? Ты опоздал! Опять!» Ignat January 13. 2024 8:35 PM Привет! ... f #2 192.0s Rin Tohsaka January 13,2024 8:38 PM Она смотрит на него с дразнящей улыбкой, берет юбку в руки и слегка приподнимает ее, ожидая увидеть его реакцию «Раз уж ты так хорошо справился, у меня могут быть некоторые идеи, как я могу тебя вознаградить-». Затем она приближается к нему, приближая свое лицо к его лицу, наблюдая, как он краснеет, но останавливается на полпути и начинает громко смеяться. «Ахаха! Тебя слишком легко дразнить, Игнат-. Ты действительно думал, что я V собирался тебя поцеловать?» Она смотрит на него озорным взглядом. уЛ Type a message, or R for help
т * а ш it, n & Расширения 0 Notify on extension updates & Manage exl Download Extensions & Assets Q Quick Reply Assets URL Chat Translation https://raw.githubusercontent.com/SillyTavern/SillyTave 11 ▼6 Image Captioning Extension Summarize & To download extensions from this page, you need to have Git installed. Regex Dynamic Audio C3 Vector Storage Adds immersive background music and ambient sounds to your chats. Blip E
Speech Recognition C3 Convert your speech to text using browser or extras.
TTS TTS Provider Loaded Select TTS Provider XTTSV2 Eleven Labs Silero XTTSv2 System Coqui Edge Novel OpenAI_____________ Reload
Choose model source Model_souree: apiManual If you select local, the model of version Model_version will be loaded. Will use local transform.
> Using model: xtts 2024-01-13 14:08:13.355 | INFO | xtts_api_server.tts_funcs:load_model:193 - Model successfully loaded INFO: Started server process [1364] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://127.0.0.1:8020 (Press CTRL+C to quit)
Your url for SillyTavern: httos://emerging-sims-researcher-im.trvcloudflare.com
XTTSV2 v Reload O Enabled 0 Narrate user messages O Auto Generation 0 Only narrate "quotes" O Ignore *text, even "quotes", inside asterisks* O Narrate only the translated text 0 Skip codeblocks [Default Voice] disabled v Ignat (Default Voice] v Rin Tohsaka female v Language Russian v XTTS Settings: Provider Endpoint: https://emerging-sims-researcher-jm.trycloudflare.com Use XTTSv2 TTS Server. 0 Streaming (RVC not supported) Speed: 1 Temperature: 0.75 Length Penalty: 1 Repetition Penalty: 5 Top K: 50 Top P: 0.85 Stream Chunk Size: 100 • O Enable Text Splitting Available voices
ЕвУ14<2>#рансР^ , ожидая увидеЩЦШ!Ш1ШЛ^ю юзнаградить-». ррт. но пстпнпвливпртся но
Running on: https ://king-wellness-congressional-fake.trvcloudflare.com * Serving Flask app ’server' * Debug mode: off WARNING: This is a development server. Do not use it in a production deployme * Running on http ://localhost : 5100 Press CTRL+C to quit
Расширения Download Extensions & Assets Character Expressions Image Generation ? Image Prompt Templates TTS Speech Recognition Extras API: SillyTavern-Extras https://king-wellness-congressional-fake.trycloudflare.com E & Notify on extension updates & Manage extensions A Install extension Q Quick Reply О Q Chat Translation О Q Image Captioning О Q Summarize & о O Regex о Q Vector Storage о. Ш Автоматическое соединение ixtras API key (optional) Подключить
Gill Настройки пользователя Advanced v •о И ^ 0 S Язык интерфейса По умолчанию v SillyTavem 1.11.2 j Search Settings Предустановки интерфейса Default (Dark) 1.7.1 ^ В ft Цвета интерфейса Стиль аватаров Крутые v Стиль чата по умолчанию v Основной текст Курсивный текст Текст в кавычках Цвет теней I I Chat Background I I UI Background I I UI Border IZZI Оттенок размытия сообщения пользователя I I Оттенок размытия сообщения ИИ Ширина чата (на PC) • # 50 Размер текста • 1 Сила размытия • Ю Размер теней текста Theme Toggles Ш Reduced Motion О Отключить эффект размытия Ш Отключить тень текста О !!!РЕЖИМ ВАЙФУ!!! Ш Expand Message Actions Ш Zen Sliders Ш Mad Lab Mode О Таймер сообщений О Временные обозначения в чате Ш Показать значки модели О ID сообщений Ш Message Token Count О Compact Input Area □ О Смена персонажей на лету Ш Tags as Folders Miscellaneous Aux List Field Версия Персонажа v Ш Звук сообщения Q О Только фоновый звук Ш Смягченные URL-адреса API О Lorebook Import Dialog О Restore User Input Ш Перемещение панелей интерфейса MUI Preset: Default v Q Character Handling A Example Messages Behavior: Gradual push-out V О Расширенный поиск персонажей О Предпочитать инструкции из Карточки Персонажа О Предпочитать JailBreak из Карточки Персонажа Ш Никогда не менять размер аватаров Ш Показывать названия файлов аватаров Ш Импорт меток Карточки Ш Режим без спойлеров Chat/Message Handling Отправка на Enter Automatic (PC) v Ш Нажатие Отправить для продолжения Ш Нажатие Отправить для продолжения О Свайвы О Gestures Ш Автоматически загружать последий чат О Автоматическая прокрутка чата Ш Автоматически сохранять отредактированные сообщения О Подтверждение удаления сообщений Ш Автоматическое исправление подчеркиваний Ш Рендер формул О Ш Показывать {{char}}: в ответах Ш Показать {{user}}: в ответах 2
его на крыше, немного раздосадованная его опозданием, цокая языком. Наконец, когда он появляется, она начинает довольно рычать. «Ну и сколько мне пришлось тебя ждать? Ты опоздал! Опять!» Ignat January 13, 2024 8:35 PM Is Привет! Rin Tohsaka January 13,2024 8:38 PM V Она смотрит на него с дразнящей улыбкой, берет юбку в руки и слегка приподнимает ее, ожидая увидеть его #2 реакцию «Раз уж ты так хорошо справился, у меня могут быть некоторые идеи, как я могу тебя вознаградить-». 192.05 ^тем она приближается к нему, приближая свое лицо к его лицу, наблюдая, как он краснеет, но останавливается на полпути и начинает громко смеяться. «Ахаха! Тебя слишком легко дразнить, Игнат-. Ты действительно думал, что я Ч собирался тебя поцеловать?» Она смотрит на него озорным взглядом. Type a message, or /? for help
Summarize with: Extras API Current summary: Summary will be generated here... S Pause O Summary Settings Insertion Template [Summary: {{summary}}] Injection Position • Before Main Prompt / Story String O After Main Prompt / Story String • In-chat @ Depth 2 Restore Previous • NoWI/AN
Summarize & Summarize with: Main API /\ Current summary: Restore Previous [Taking the above information into consideration, you must chat in a roleplaying manner with Rin Tohsaka. Never write for Rin Tohsaka in your | responses.] *As Rin and Ignat continue their training session together, they both begin to feel a sense of camaraderie and trust building between them. They push each other to become stronger and better fighters, constantly B S Summarize now 0 Pause 0 No WI/AN O Summary Settings insertion Template [Summary: {{summary}}] A Injection Position • Before Main Prompt / Story String O After Main Prompt / Story String • In-chat @ Depth 2 Summary Prompt [Pause your roleplay. Summarize the most important facts and events that have happened in the chat so far. If a summary already exists in your memory, use that as a base and expand with new facts. Limit the summary to {{words}} words or less. Your response should include nothing but the summary.] A Summary length (200 words) Update every 10 messages 0 = disable Update every 0 words 0 = disable 0 [f both sliders are non-zero, then both will trigger summary updates a their racnorlnia intorwalc
Group: Rin Tohsaka Контроль группы Group: Rin Tohsaka Щ Искать / Создать тэги Щ Сортировка ответов в группе Обычный порядок v Group generation handling mode Swap character cards v «- ★ Разрешить ответ себе Автоматический режим 5 Hide Muted Member Sprites Текущие члены & 1-2 of 2 < > 5/page v © Saber Rin Tohsaka CBX CBX Добавить членов Поиск... 1-3 of з < > 5/page v © Coding Sensei [ST Default] Flux the Cat ÍST Default] Seraphina 1ST Default] B + B + B +
Глаза Сэйбер сияют уверенностью, когда она нежно сжимает рукоять меча Как Король Рыцарей, я обладаю #4 исключительными боевыми способностями, отточенными годами опыта на поле боя. Мое главное оружие — 50.9s Экскалибур, божественный меч, подаренный мне Владычицей Озера. С его помощью я могу высвободить мощный заряд энергии, известный как Абсолютная печать Экскалибура, — атаку, которую немногие могут выдержать. Она демонстрирует несколько отработанных позиций, прежде чем остановиться но одной конкретной технике При необходимости я также могу скрыть Экскалибур магией, сделав меч невидимым и дав мне преимущество в бою. Моя ловкость и сила превосходят показатели обычных людей, что позволяет мне эффективно участвовать в скоростном бою. Хотя мои ножны Авалон в настоящее время утеряны, если бы они были у меня, они дали бы мне почти неуязвимость и быструю регенерацию во время боя. Оно касается своей толии том, где должен был быть Авалон. Это делает меня не только искусным бойцом, но и чрезвычайно т^^удным для победы, когда я полностью экипирован. Rin Tohsaka is typing. Type a message, or /? for help
Q Image Generation ? O Edit prompts before generation 9 Interactive mode 9 Use multimodal captioning for portraits 9 Auto-enhance prompts Source Extras API (local / remote) v Extras API (local / remote) Stable Horde Stable Diffusion Web Ul (AUTOMATIC1111) SD.Next (vladmandic) NovelAI Diffusion OpenAI (DALL-E) ComfyUI TogetherAI________________________________________________________
Send me a picture of: Yourself Your Face K( Me a' ia The Whole Story The Last Message ¡a. Raw Last Message ^ iv Background W I i J ridyudlft y Generate Image 2 X ™ #! H Generate Caption Vt 48 1 Token Counter oc □D Translate Chat
фЪ \ Rin Tohsaka January 13.2024 9:56 PM V i С интересом глядя на Сэйбер, Рин мысленно отмечает ее невероятные навыки и оружие. Однако ее больше интересует ее #5 Мастер, чьи магические запасы, кажется, неуклонно истощаются. "Итак... Игнат, сколько запасов праны у тебя 48,85 осталось? Твои запасы маны, кажется, быстро уменьшаются..." Она спрашивает его беспокоит. SillyTavem System Щ January 13,202410:17 PM
нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу
Вообще выглядит сложно, т.к. я подробно расписал каждый момент.
Большинство гайдов выглядят так:
1. Ставь NodeJS
2. Ставь Таверну
3. Пользуйся
Вот когда будет, нажать установить и говорить, тогда и зовите.
LM Studio
Про это предыдущий пост https://joyreactor.cc/post/5733950 там сложность "изи".
Здесь уже "нормал".
До "харда" ещё далеко :)
Респект
Щас поставлю.
Но один вопрос
А нафига оно нужно?
На самом деле всё это можно использовать как продвинутую версию ChatGPT без ограничений: Писать код, переводить текст на разные языки, учиться иностранным языкам (озвучка помогает), писать книги (у меня выходили неплохие фанфики, выкладывать правда не стал, т.к. там шиза).
Но вообще нейросеть вполне может как выдумывать новых персонажей из воздуха, так и добавлять каноничных без предварительного описания, при условии что она знакома с оригиналом. Самое главное дать ей понять что ты от неё хочешь, это называется промптинг.
Текстовая нейросеть внезапно предназначена для генерации текстов, и когда получше познакомишься с её работой, поймешь что эти тексты могут быть абсолютно любыми, ограничения только в твоей фантазии.
А Клода тоже можно бесплатно подключить, но это что-то уровня установки таверны из этого руководства https://rentry.org/slaude2
Дописывал колаб из предыдущего поста и шатал Stable Diffusion.
Руководство по Стейблу обещает быть ещё сложнее, но если идти дальше, рано или поздно придётся затронуть...
+ Промпты
+ VAE
+ Апскейл
+ Лоры
+ Дополнения
Для Таверны SD нужен прежде всего чтобы генерить спрайты эмоций. Давно хотел попробовать сгенерить их анимированными, но как-то руки не доходили, и не уверен что выйдет сделать их такими с прозрачным фоном.
Вот по этому я использую TavernAI, он такой простой что без инструкций понятен
Но мне больше нравится закидывать вручную + это сразу же закрывает вопрос "Где хранятся персонажи?". Поэтому не стал писать, чтобы ещё не засорять материал.
Rollplay как раз и есть умолчание. Но этот шаблон с локальными моделями не очень работает. В самой инструкции про ООС ничего не сказано, так что дело не совсем в ней, а скорее в сочетании с моделью. Может помочь другой пресет настроек или снижение температуры.
Шаблон контекста попробуй поменять на Alpaca, это практически тот же роллплей, но упрощённый и заточенный под ламаподобные модели.
Но мне кажется у тебя проблемы либо с моделью, либо с шаблонами генерации. Вот тебе мои настройки:
Результаты отличаются, но ничего похожего на твоё нет. Так что ты явно что-то не договариваешь.
Gasping sharply
Gasping sofly
Gasping хуётли!
Сменить шаблон контекста.
Отредактировать предыдущие ответы, чтобы модель не лупилась.
Скорее всего первое.
python server.py --model TheBloke_Stheno-Inverted-L2-13B-GPTQ --loader exllama --share --api --public-api --extensions gallery
21:01:32-538800 INFO Starting Text generation web UI
21:01:32-551530 INFO Loading TheBloke_Stheno-Inverted-L2-13B-GPTQ
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /content/text-generation-webui/server.py:241 in │
│ │
│ 240 # Load the model │
│ ❱ 241 shared.model, shared.tokenizer = load_model(model_name) │
│ 242 if shared.args.lora: │
│ │
│ /content/text-generation-webui/modules/models.py:87 in load_model │
│ │
│ 86 shared.args.loader = loader │
│ ❱ 87 output = load_func_map[loader](model_name) │
│ 88 if type(output) is tuple: │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
KeyError: 'ExLlama'
Видимо он устарел и теперь не нужен, прописал вместо него ExLlamav2_HF, с ним норм запускается.
Кстати, модели в списке ниже "TheBloke/Mythalion-13B-GPTQ" в основном старые и не актуальные, их ещё предыдущий автор этого колаба добавлял.
python server.py --model Kooten_PsyMedRP-v1-20B-3bpw-h8-exl2 --extensions gallery --loader exllama2 --share --api --public-api
13:40:56-728938 INFO Starting Text generation web UI
13:40:56-751725 INFO Loading Kooten_PsyMedRP-v1-20B-3bpw-h8-exl2
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /content/text-generation-webui/server.py:241 in │
│ │
│ 240 # Load the model │
│ ❱ 241 shared.model, shared.tokenizer = load_model(model_name) │
│ 242 if shared.args.lora: │
│ │
│ /content/text-generation-webui/modules/models.py:87 in load_model │
│ │
│ 86 shared.args.loader = loader │
│ ❱ 87 output = load_func_map[loader](model_name) │
│ 88 if type(output) is tuple: │
│ │
│ /content/text-generation-webui/modules/models.py:380 in ExLlamav2_loader │
│ │
│ 379 def ExLlamav2_loader(model_name): │
│ ❱ 380 from modules.exllamav2 import Exllamav2Model │
│ 381 │
│ │
│ /content/text-generation-webui/modules/exllamav2.py:5 in │
│ │
│ 4 import torch │
│ ❱ 5 from exllamav2 import ( │
│ 6 ExLlamaV2, │
│ │
│ /usr/local/lib/python3.10/dist-packages/exllamav2/__init__.py:3 in │
│ │
│ 2 │
│ ❱ 3 from exllamav2.model import ExLlamaV2 │
│ 4 from exllamav2.cache import ExLlamaV2CacheBase │
│ │
│ /usr/local/lib/python3.10/dist-packages/exllamav2/model.py:16 in │
│ │
│ 15 import math │
│ ❱ 16 from exllamav2.config import ExLlamaV2Config │
│ 17 from exllamav2.cache import ExLlamaV2CacheBase │
│ │
│ /usr/local/lib/python3.10/dist-packages/exllamav2/config.py:2 in │
│ │
│ 1 import torch │
│ ❱ 2 from exllamav2.fasttensors import STFile │
│ 3 import os, glob, json │
│ │
│ /usr/local/lib/python3.10/dist-packages/exllamav2/fasttensors.py:5 in │
│ │
│ 4 import json │
│ ❱ 5 from exllamav2.ext import exllamav2_ext as ext_c │
│ 6 import os │
│ │
│ /usr/local/lib/python3.10/dist-packages/exllamav2/ext.py:15 in │
│ │
│ 14 try: │
│ ❱ 15 import exllamav2_ext │
│ 16 except ModuleNotFoundError: │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
ImportError: /usr/local/lib/python3.10/dist-packages/exllamav2_ext.cpython-310-x86_64-linux-gnu.so:
undefined symbol:
_ZN3c107WarningC1ENS_7variantIJNS0_11UserWarningENS0_18DeprecationWarningEEEERKNS_14SourceLocationES
sb
Я сейчас фоокусом страдаю, колаб давно не запускал. Проблема похоже была в дополнениях xformers и deepspeed, якобы увеличивающих скорость работы. Отключил их - всё заработало, особого падения производительности не увидел.
https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb
Это единственный, кроме диффузеров, не забаненый в колабе движок Stable Diffusion.
Поэтому хотел выжать из него максимум пользы и превратить в аналог автоматика. Но пока далеко не продвинулся.
Но если просто хочется по фану погеерить картиночки, эта штука самое то.