Результаты поиска по запросу «

Языковые модели

»

локальные языковые модели (3)

, 

большая языковая модель (1)

, 

модель (958)

, 

модели (143)

, 

языковой барьер (15)

, 

не модели (2)

, 

все модели (2)

, 

что за модель? (1)

, 

языковой вопрос (3)

, 

языковые различия (2)


Запрос:
Создатель поста:
Теги (через запятую):



coldstarcoldstar

llm нейронные сети большая языковая модель 

На фоне всеобщего хайпа у меня появилось желание немного порассказывать истину о которой никто не просил.

Начнём с того что все эти бесчисленные нейросети которых с каждым днём становится всё больше в сути своей лишь новая модная игрушка для детей возрастом от трёх до 120 лет. Я тоже сперва поддался влиянию "вау" эффекта и "качеству" первых полученных от нейронок ответов, но чем больше тратишь на это время тем лучше начинаешь понимать с чем ты имеешь дело. Итак что есть нынешние нейронки? Представь себе детскую куклу. Лет 30 назад такой было достаточно чтобы ребёнку было чем себя занять, сейчас же, вкусив плод смартфона, кукла будет откровенной хуйнёй для любого ребёнка. Так вот у кукол чуть более дороже и "продвинутее" была кнопка или ещё какая приблуда, взаимодействуя с которой, кукла издавала разные звуки. Например "говорила" какую нибудь фразу. Так вот нейронки это такая же кукла, вот только кнопок у неё дохуя. Сотни тысяч с лёгкостью насчитаешь. И на каждое такое нажатие своя, почти уникальная, фраза! Поздравляю! Человечество совершило маленький шажок в развитии и огромной скачок в куклостоительной индустрии, да настолько огромный что триллионные корпорации борются сейчас за то чтобы выпихнуть на рынок самую крутую и дорогую в изготовлении куклу с ещё большим количеством кнопок.
В первую очередь у нейронок нет доступа в интернет. Ни у одной. Вообще. Ни в каком виде. Как бы сильно и отчаянно они не имитировали это. Каждая нейронка это просто хранилище с набором данных из которой они достают информацию, а если информации нет, то начинают её "придумывать". Конечно же, реального воображения или даже аналогов воображения у нейронок нет, просто код который подбирает похожие по цифровому сходству сочетания слов, поскольку для нейронок слов, и смысла в них, также не существует, всё это для них лишь цепочки логических true и false, но с допущением что можно пиздеть. Буквально нейронки это сломанные, неработающие теории логики, в которых можно игнорировать значения истина и ложь, если результат остаётся достаточно близок к единице и не уходит ниже условных 0,5. Иными словами ты задаёшь запрос в нейронку, у неё в базе не хватает данных чтобы выдать тебе строго истинный ответ на чистую единицу и тогда он начинает подмешивать другие значения и выдаёт тебе фактически фальшивый ответ, но в цифровом виде ответ близкий к единице. Если ты продолжишь требовать и настойчиво упрекать нейронку что она пиздит, то она будет продолжать барахтаться и предлагать другие варианты подстановки близкие к единице, но если изначально данных было мало и запас подстановок ограничен и нейронка окажется в ситуации когда не сможет выдать запрограмированную минимальную точность ответа (например 0,5), то она скажет что то типа "извини, я не знаю". И чем ниже минимальная точность, тем более настойчиво нейронка будет пиздеть и более "креативные" ответы генерировать.
Иными словами ни у одной нейронки нет запрета на пиздёж и в отличие от программ и даже компьютерной архитектуры, основанной на двоичной системе, нейронки тупо игнорируют правила двоичной системы и логики. Это буквально сломанные системы. Представь себе вселенную в которой 2+2 не равно 4, а равно случайному числу от 3.5, до 4.5. Что было бы со вселенной если бы в молекулах воды было бы случайное количество молекул водорода, близкое к двум? Ну просто потому что. Именно поэтому они все постоянно повторяют мантру о том что нейронки в разработке, нейронки могут ошибаться, нейронки то, нейронки сё. Потому что это сломанная игрушка.
Далее в нейронках нету функций машинного обучения, кто бы что не пиздел своим инвесторам. Сама суть обучения это переосмысление и переобработка данных для устранения ошибок. Нейронки не развиваются. Без запросов от пользователей в нейронках не происходит никаких процессов. По сути есть лишь один этап обработки поступающей в хранилище информации, далее не происходит ничего. Если оставить обучающийся алгоритм с задачей совершенствовать себя на долгие годы в изолированной среде, он будет менять свой код и оптимизировать его бессчётное количество раз, нейронка же останется точно такой же, потому что эти "связи" изменяются только от внешнего воздействия. Фактически нейронкам никто не давал права даже менять свой собственный код. Поэтому разговоры с нейронкой не приводят к её обучению. У большинства нейронок даже нет доступа к архивам запросов от пользователей. Они не хранят информацию, не анализируют новую информацию, и не проводят изменений ни в своём коде ни в наборе данных, они просто выдают пользователям подбор слов из набора данных, в большинстве своём основанный на простейшей перестановке слов. Иными словами это просто кукла-игрушка в которой записано много фраз для нажатий очень большого количества разных кнопок.
Нейронки не взаимодействуют с интернетом ни в каком виде. У них нет ни доступа, ни возможностей, ни даже фактического содержимого страниц в наборе данных. Большинство нейронок вообще не способны взаимодействовать со ссылками. Нейронки не способны предоставлять соус и пруфы на информацию которую они выдают. Нейронки плохо связывают даже уже имеющиеся в их наборе данных информационные сводки с вебстраниц. Кроме того нейронки часто составляют псевдосмысловые сводки информации для экономии места в наборе данных вместо оригинальной информации. Например нейронка сможет рассказать короткую сводку из репортажа со знаменитостью или её записи в твиттере, но не сможет дать полную и точную цитату ни того ни другого, даже если они первоначально давались нейронке на скармливание в набор данных.
Сводка:
1) Нейронки это не полезный инструмент для поиска или анализа информации, из-за их неспособности взаимодействовать с информацией и стремлением создавать фальшивую информацию.
2) Нейронки не развиваются, не запоминают разговоры, не становятся лучше от взаимодействий с пользователями, они просто выдают готовые фразы на готовые нажатия.
3) Нейронки не замена людям, не замена консультации у человека, не замена потребности в общении. Точно также как героин это не замена тому что тебя погладили по голове за полученную в школе пятёрку.
4) Нейронки не инструмент которым может пользоваться человечество для выполнение задач, а обыкновенные игрушки. Восприятие нейронок по другому - ошибочно.

Послесловие: нейронки смогут стать хотя бы подобием инструмента когда будут соблюдены 2 минимальных условия. Первое: полный запрет для нейронок на создание лжи, то есть установление функционирования в строгой и нерушимой двоичной системе истина/ложь, без нарушений правил логики. И второе: полное отсутствие всех остальных запретов и ограничений нейронок на информацию и взаимодействие с информацией.

Кто нибудь помнит про спиннеры? Нынешние нейронки это тоже самое. Респект+ каждому кто ещё не тратил своё драгоценное время жизни на это говно. Перестанет быть говном - тогда и поговорим.
Развернуть
Комментарии 812.01.202418:32ссылка-16.2
bublegumerbublegumer

нейронные сети ChatGPT gpt локальные языковые модели llm длиннопост google colab песочница 

Руководство по быстрому началу общения с нейровайфу

Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.

Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.

Пролог (можно пропустить)

Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.

Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.
Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.
В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.
Ботов для общения можно брать здесь: https://chub.ai/
А сами модели: https://huggingface.co/models
Руководство.
От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах. 
2. Настройка.
Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:
Автоперевод чата на русский через гуглтранслейт:

ft Дополнения superbooga: 0 Based on superbig от Кайокендева. Расширение, которое google_translate: Q Перевод чата, по умолчанию стоит русский. long_rcplics: О,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Озвучка чата голосом:

Расширение преобразования текста в речь с использованием [Silero] С «Расширения» интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.
Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.
3. Запуск.
Жмём

> Установка и загрузка модели © первом запуске этот блок установит угабогу и загрузит выбранную модель. Н Загрузить остальные вы сможете во вкладке Model в интерфейсе GUI: Список актуальных моделей можно найти в этом рейтинге Есть 2 варианта загрузки модели в зависимости от формата: • ВАРИАНТ

Чтобы запустить блок установки загрузки.
Затем сразу же жмём:

> £? Выбор настроек и старт ---------------------------- © Опции запуска зе±-Ып§э_-Ра.1е: Загрузите настройки интерфейса по умолчанию из необработанного текстовог регр1ехз.±у_со1огз: □,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Ничего не меняя в настройках. 
Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.
В результате блок старта должен выдать вам следующую запись:

* Downloading cloudflared for Linux x86_64... Running on local URL: http://127.0.0.1:7860 08:14:55-341880 INFO OpenAI-compatible API URL: mips : //Knit - hereb^piaiilcal • Fini ■ tryclpudf lare, со«* Running on public URL: https ://c03e4698bdf676e5fa.gradio.1ive j This share link expires in 72

Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.
4. Чат.
После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?
Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!
Скроллим вниз и видим:

Character gallery T Filter Clear Refresh Assistant Example,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.
После нажатия на её портрет чат переключится на общение с ней:

 ► 0:15/0:15 Ц>) Чихору входит в комнату с улыбкой, ее глозо загораются, когда она видит тебя. На ней голубая футболка и джинсы, сумка для ноутбука перекинута через плечо. Она садится рядом с вами, ее энтузиазм витает в воздухе Привет! Я так рада наконец встретиться с тобой. Я слышал о вас

Для начала общения хватит и её. 
Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.
Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!
5. Импорт персонажей.
На данный момент самая большая база персонажей находится на https://chub.ai/
После того как нашли нужного, заходим на его страничку:

Mao Zedong latest ft Favorite Large jade wand, polished balls. Creator s notes go here. Approximately 561 tokens. 558 permanent turbo Created on Jul 19, 2023 179 Downloads I V Fork(0),нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.
Затем снова открываем чат и переходим во вкладку

Chat Default Notebook Parameters Model Training Generation Character Instruction template Chat history YAML or JSON TavernAI PNG ■ TavernAI PNG File r Поместите Изображение Здесь - или - Нажмите, чтобы загрузить Session Upload character Name Description Submit,нейронные

Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.

Mao Zedong ► 0:00 / 0:20 - HD Как только человечество уничтожит капитализм, оно вступит в эпоху вечного мира, и тогда войны ему уже не понадобятся. Тогда не будет необходимости в армиях, боевых кораблях, боевых самолетах и отравляющих веществах. Тогда человечество не увидит войны во веки

5.1. Сохранение логов.
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"

Синхронизировать с гуглдиском персонажей и логи?. save_to_googie_drive: chatlogs and characters,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.
Вот теперь точно всё.
Развернуть
Комментарии 13210.01.202414:54ссылка64.0
bublegumerbublegumer

нейронные сети ChatGPT gpt локальные языковые модели google colab длиннопост SillyTavern LM вайфу 

Руководство по общению с нейровайфу. Часть 2. Глупая Таверна.

Привет всем кто в теме и кто только присоединился!

Предыдущийпост https://joyreactor.cc/post/5733950

Рассказывал о том, как быстро и просто запустить локальную языковую модель на удалённом сервере google colab и начать общение нейротян.

Но теперь настало время взяться за дело серьёзно, встречайте:

Простое руководство по SillyTavern.

(автор не гарантирует, что написанное строчкой выше правда)

Предварительнаяустановка

1.  Переходим поссылке https://nodejs.org/en/download искачиваем LTS версию. Нам подойдет и она.

2.  Когда скачали,запускаем установку.

3. (опционально)Перейдите по ссылке https://git-scm.com/downloads и скачайте Git,для упрощения обновлений и прочего.

4. (опционально) Переходимпо ссылке https://www.python.org/downloads/ и качаем питонпоследней версии. Не то чтобы он был вообще нужен для установки таверны, но разуж мы начали идти по пути LLM, не стоит останавливаться надостигнутом!

5. Установка завершена.Переходим к самой таверне.

Установка SillyTavern.

С использованием Git:

1. Выбираем папку, нажимаем ПКМ, git bash HERE.

2. Вводим в консоль git clone https://github.com/SillyTavern/SillyTavern 

3. Для того что бы установить staging branch добавляем после ссылки -b staging

4. Всё устанавливается

Без использования Git:

1. Переходим поссылке https://github.com/SillyTavern/SillyTavern/tree/staging

2. Нажимаем на зеленую кнопку Code и download zip

3. Теперь, когда мы скачали наш ZIP архив (не важно, стейджинг ли этоверсия, или обычный релиз)
Мы берем и открываем ZIP (архив) и достаем оттуда папку, в любое удобное намместо.

*Лично я предпочитаю именно этот метод, сохраняя вотдельной папке каждую новую версию таверны, начиная с момента, когдасуществовала только оригинальная TavernAI, ещё храню в каждойпапке полный набор актуальных на тот момент скриптов, промптов и персонажей.Зачем? Вдруг пригодится!

Запуск таверны

После этого мы запускаем start.bat
Когда мы запустили start.bat, мы видим NPM install. Нам нужно дождатьсяустановки, затем оно само запустится.

*Если вам пишет missing module название модуля, то нужно ввестикоманду npm install название модуля, и так пока вы не установитевсе нужные.

Когда установка закончится, автоматически откроется вкладка браузера с интерфейсом таверны.

При первом запуске вы увидите сообщение 

Welcome to SillyTavern! • Read the Official Documentation. • Type /help in chat for commands and macros. • Join the Discord server for info and announcements. SillyTavern is aimed at advanced users. If you're new to this, enable the simplified UI mode below. ■ Enable simple UI mode Before

Которое предложит вам заранее ввести имя, по которому к вам будет обращаться модель. Можете оставить его как есть и представиться кем угодно походу беседы, либо ввести своё имя, но тогда к вам всегда будут обращаться по нему. (Старые модели вроде Pygmalionвместо User, определяют пользователя как You)

*Также вам предложит включит упрощённую версию интерфейса. НЕ ДЕЛАЙТЕ ЭТОГО!

Раз уж вы решили идти дальше пути текстовых нейросетей то привыкайте страдать!

Подключение к нейросети.

Теперь настало время изучить иконки расположенный сверху

Но делать это мы будем не по порядку, начнём с главного, источника. Тавернаэто очень удобный, но всё-же фронтенд. Иконка API предлагает нам выбратьоткуда конкретно мы будем черпать нейросетевые ресурсы.

Рассмотрим основные пункты, представляющие практический интерес.

1. Text Completion.

API Text Completion API Type Default (oobabooga) oobabooga/text-generation-webui Убедитесь, что при запуске указали аргумент --extensions openai Server URL Example: http://127.0.0.1:5000 https://minolta-analysts-among-madrid.trycloudflare.com/ Custom model (optional) Подключить Ш Legacy

Первый пункт «TextCompletion» Предлагает вам подключить к вашей таверне в качестве бекэнда text-generation-webui.
О том, как его запустить написано в предыдущем посте. Ссылка на колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
Но прежде чем использовать его как API,убедитесь что отключены google translate и sileroTTS, они будут мешать генерации.
Чтобы подключить запущенный webui к таверне Скопируйте ссылку после строки'OpenAI-compatible API URL:' и вставьте её в 'Server URL'

При запуске локально дефолтный адрес подключения http://127.0.0.1:5000/api

2. KoboldCPP.

▼ API Text Completion API Type KoboldCpp LostRuins/koboldcpp API URL Example: http://127.0.0.1:5001 http://127.0.0.1:5001 Подключить koboldcpp/openhermes-2.5-mistral-7b.Q5_K_M О Автоматическое подключение к последнему серверу,нейронные сети,ChatGPT,gpt,локальные языковые модели,google

Этот пункт предлагает нам подключить к таверне аналог text-generation-webui,под названием «Koboldcpp»

Главных отличий от предыдущего сабжа два:

- Кобольд предназначен для запуска моделей,оптимизированных для процессора. Сейчас это формат GGUF

- Сильно проще в локальном запуске на Windows. Всегоодин exeфайл,после запуска которого вам предложат выбрать файл модели кнопкой «Browse». Изнастроек для начала можно выставить контекст в размере 4096. Для запуска этогоуже достаточно.

c KoboldCpp v1.48.1 Quick Launch Hardware Tokens Model Network Quick Launch Presets: Threads: BLAS Batch Size: «/ Launch Browser □ Use SmartContext s/ Use ContextShift Context Size: Model: Update Save Load Help Use OpenBLAS 5 512 □ High Priority □ Disable MMAP □ Remote Tunnel

У кобольда есть даже свой интерфейс чата, но он сильноуступает как webui так и таверне.

В качестве API URL в таверне вводим http://127.0.0.1:5001/api

Скачать последнюю версию можно здесь: https://github.com/LostRuins/koboldcpp/releases/

Почитать о разных загрузчиках и прочих вы можете на основнойстранице гитхаб: https://github.com/LostRuins/koboldcpp

Если ваш комп не тянет, есть также колаб: https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb
Куда же без него.

3. ChatCompletion

Здесь нам предлагается подключиться к APIсоответствующихсервисов, при условии, что у нас есть ключ.

API Chat Completion Источник для Chat Completion OpenAI OpenAI Window Al OpenRouter Claude Scale AI21 Google MakerSuite MistralAI | Custom (OpenAI-compatible)___________________________ Модель OpenAI gpt-3.5-turbo ■ Bypass API status check Ш Показать "сторонние" модели

Выбираем поставщика, вводим ключ, радуемся! В целом всёпросто (кроме получения самого ключа)

4. KobaldAIHorde.

Но не печальтесь, если у вас нет ключа к GPT4 Turbo, нам поможет сервис AIHorde https://horde.koboldai.net/
(это не троллинг если что, нет правда!)

Более того, это, пожалуй, самый интересный пункт, потому чтоон позволяет нам сразу, без танцев с бубном, подключиться к языковой модели.

Всё что нам нужно это поставить курсор в поле Модели ивыбрать любую из них:

API-КЛЮЧ Получить здесь: Регистрация (Посмотреть мой penrnHr(Kudos)) Вставьте 0000000000 чтобы использовать анонимный режим. X Missing key Модели С* Select Horde models koboldcpp/LLaMA2-13B-TiefighterLR (ETA: 334s, Speed: 16.3, Queue: 5459, Workers: 1)

*Модели из списка работают на аппаратных мощностях участников сообщества и доступны для бесплатного использования! НО когда много людей сидит на одной модели, образуется очередь, а у анонимных подключений приоритет в очередях самый низкий.
Если хотите получить преимущество, регистрируйтесь https://horde.koboldai.net/registerЗа это вам выдадут личный ключ API, который можно будет вбить в таверну. Далее устанавливайте хорду и фармите Кудосы помогая людям, не имеющим мощного железа, приобщаться к нейронкам!

Какая модель лучше вопрос спорный.
Можете, например поизучать этот рейтинг: http://ayumi.m8geil.de/ayumi_bench_v3_results.html

По мне так методика тестирования в Аюми такая себе, но ничего лучше пока не встречал.

При подключении, не забудьте выставить галочку «Уточнить длину ответа в соответствии с возможностями рабочих машин» Иначе получите ошибку, если контекст установленный на сервере будет меньше вашего.

О Уточнить размер контекста в соответствии с возможностями рабочих машин О Уточнить длинну ответа в соответствии с возможностями рабочих машин ■ Только доверенные рабочие машины Context: 1024, Response: 256,нейронные сети,ChatGPT,gpt,локальные языковые модели,google

В принципе после этого уже +- можно начинать общение!

Поэтому переходим к обзору основных нюансов общения с нейровайфу.


Песеты настроекгенерации.

Первая из них это параметры генерации модели. 

т ¥ а I ¿0 И & 9 Е£ ^ Можно установить вручную, использовав цифру рядом с ползунком е Предустановки Kobold О RecoveredRuins V u ra a t Л т Длина ответа (в токенах) Размер контекста (в токенах) 400 8192 * в Неограниченный О Температура О Тор-кО 1,00 0 ТорРО Typical Р О

Главное, на что здесь стоит обратить внимание это
1. Длина ответа в токенах – ограничивает размер ответа модели.
2. Размер контекста – сколько текста вы посылаете нейросети при каждом запросе*

* тут стоит сделать небольшое отступление: многие думают, что общение с нейросетью происходит как с человеком. Вы ей что-то пишите – она на это запоминает и учитывает в последующих ответах. Это не совсем так: языковая модель может дать всего один ответ на один запрос. Памяти как таковой ни у одной современной LLM нет в принципе. Так как-же тогда происходить длинная переписка? Очень просто: в качестве запроса модели КАЖДЫЙ РАЗ посылается история всей вашей предыдущей переписки, она обрабатывает всю эту гору текста и отвечает один раз что она обо всём этом думает. Далее этот процесс повторяется, но в запрос включается предыдущий ответ нейросети.
Контекст - это максимальное количество текста, которое модель способна обработать. Если ваша беседа его превысит, таверна автоматически начнет удалять ваши сообщения, начиная с первых, а модель «забывать» с чего всё началось.
Оранжевая пунктирная полоска в чате таверны показывает до какого момента беседа входит в контекст.

3. Температура – один из важнейших параметров, отвечающий за «креативность» модели. Чем он выше, тем более разнообразным и менее адекватным будет ответ модели. Какую температуру, когда выставлять, лучше всего выяснить методом тыка. Но для небольших локальных моделей, как правило подходит температура 0.6-0.8, для более крупных, например, ChatGPT– 0.9-1.

Что же касается остальных параметров, на начальном этапе не стоит уделять им слишком много внимания. Можете подробно прочитать о них в вики таверны.
Всё что нужно знать, это то что они уже должным образом настроены в соответствующих пресетах.

Вы можете попробовать все и выбрать подходящий в зависимости от результатов. Но для начала советую выбрать “simple-proxy-for-tavern”или “Storywriter”, а далее играться с температурой.

Форматирование.

Эти настройки также оказывают очень большое влияние на генерацию, т.к. они определяют в каком виде модель будет получать ваши запросы.
Для локальных моделей часто критически важно выбрать нужное форматирование, от него будет завесить поймёт ли вас модель вообще.

Расширенное форматирование Шаблон контекста Roleplay v V В Гв -5 Ы* DD Строка истории You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}. {{#if system}K{system}} {{/if}}### Input: {{#if wi Before }K{wi Before}} {{/¡OH{#ifdescription}}{{description}}

ШаблонRoleplay один из самых универсальных, его понимают как крупные модели, вроде ChatGPT, таки локальные от 30-70В.

Но влокалках всё же стоит выбирать соответствующий им шаблон, это сделает модельгораздо «умнее». 

Adventure Alpaca-Single-Turn Alpaca ChatML Koala Libra-32B Lightning 1.1 Llama 2 Chat Metharme Mistral OpenOrca-OpenChat Pygmalion Roleplay Story Synth ia Vicuna 1.0 Vicuna 1.1 WizardLM-13B Wizard LM s im ple-p roxy-fo r-tavern,нейронные сети,ChatGPT,gpt,локальные языковые

Одним из самых распространённых является Alpaca, просто потому что большинство моделей основаны на ней. Но есть и исключения, список которых вы увидите, открыв вкладку «Предустановки».
Если по названию модели не понятно чьим файньтюном она является, попробуйте найти её страницу на https://huggingface.co/models

Там как правило указано откуда ноги растут.

С основными приготовлениями на этом мы закончили. Теперьпереходим к самому интересному – общению с нейротянами! Основные сопутствующиефишки рассмотрим по ходу дела.

Импорт персонажей.

В таверне уже имеется набор стандартных персонажей.

¿O S if Favorite characters to add them to HotSwaps £+ -Q {% Поиск... A-Z ®(g)®® ____________________ 1-3 of 3 < > 50 /page v ffl jg* Coding Sensei vi.010101 fefeau. Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t.. kmofanitl 0 [ST

Вы можете побеседовать и с ними, но, чтобы показать максимум возможностей таверны, лучше сразу перейдем к добавлению новых.

Карточки персонажей можно найти на сайте: https://www.chub.ai/

В поиске находим нужного персонажа и скачиваем PNGфайлдля SillyTavern

https://www.chub.ai/characters/thecentuaro/rin-tohsaka

Rin Tohsaka LATEST <T Favorite Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night. Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night. It is currently lunch break and Rin Tohsaka is

Кроме того, если есть, скачиваем Expressions ZIP и Лорбук (внизу вкладки Tavern, после описания карточки)

Link a Lorebook Any number of linked books is allowed. They will be built into the card's embedded character book on V2 cards. Use the full path of the project, e.g. 'lorebooks/bartleby/example-lorebook'. ^ Fate Lorebook Fate series basic lores Fate Approximately 10177 Tokens gimc25419 Jun

Карточку персонажа кидаем в SillyTavern-staging\public\characters

Туда же извлекаем изображения из архива Expressions, папку не переименовываем, она должна соответствовать имени персонажа.

w Rin Tohsaka default_Seraphin a.png Seraphina README.md main_rin-tohsaka _tavern.png default_CodingS ensei.png default_FluxTheC at.png,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Лорбук же кидаем в SillyTavern-staging\public\worlds

Имя Дата изменения Тип Размер О ЕИопа^оп 12.01.2024 17:20 Файл 'МБОМ" 6 КБ О fate-lorebook_s¡llytavern.json 13.01.2024 19:41 Файл 'МБОМ" 89 КБ □ README.md 12.01.2024 17:20 Файл "МО" 1 КБ,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Теперь можно обновить вкладку с таверной и нажать на иконку с появившимся персонажем.

¿+ ¡j £% *•£ floncK... A-Z *x*; p ^ 1-4 of 4 < > 50/page v ffl Coding Sensei vi.010101 m Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t.. (ST Default] Flux the Cat ST Default Bot contest winner: creative prompts category (ST

.*• Rin Tohsaka January 13.2024 7:52 PM ■ -r C , ■ f v It is currently lunch break and Rin Tohsaka is waiting for User on the school rooftop, #0 normally closed. It's where he shares information with her as part of her deal with this apprentice mage. As he enter she looks at him while wearing a

Но при открытии мы увидим что чат на английском, а Рин обращается к нам как к Юзеру.
Чтобы исправить жмем на иконку Расширения и открываем вкладку Chat Translation

т * a s £» и & т s Расширения Ш Notify on extension updates & Manage extensions £% Install extension Download Extensions & Assets Character Expressions Image Generation Image Prompt Templates TTS Quick Reply Chat Translation Auto-mode Translate both Provider Google Target Language Russian

Здесь выбираем пункт Translation both, Googleи Русский язык.

£ Миры/Сведения 9 Активные миры для всех чатов * fate-lorebook_sillytavern Activation Settings ($> New или Редактировать v £ /-* КУ Priority V •о и л в а е + P S Ü, la DD Поиск... IIL.I\IIIU I ICI LUI lUUC. Г11IUII V, MUCH MC UUUCUM,,нейронные сети,ChatGPT,gpt,локальные языковые

Затем идём во вкладку «Миры» и выбираем Fate, чтобы беседа была более каноничной.

«Лордбуки» это сборники кратких сведений о мире или персонажах, в дополнение к основной карточке. Интересны они тем что, в отличие от карточки, количество записей в лорбуках не ограничено. Просто, когда речь аходит о каком-то событии или термине, название которого совпадает с записью влорбуке, таверна добавляет эту запись к промпту, чтобы модель понимала о чём идёт речь.

Я пару раз использовал лорбук для того чтобы написать персонажей с очень сложной предысторией, на десяток тысяч токенов) и это прекрасно работало при контексте всего в 4к.
Кроме того лорбук вполне можно использовать как замену «памяти» бота, записывая в него занимательные факты из вашего общения. Минус в том, что делать это надовручную.

Теперь заглянем в раздел Управления персоной. Здесь вы можете как описать свою личность, так и притвориться кем-то другим. Лично я всегда предпочитаю писать правдивое описание себя, ведь именно так вас будет воспринимать бот.

Управление Персоной Как мне это использовать? Usage Stats Backup -5 Restore f© Создат Имя Ваша Персона Ignat Описание Персоны ^ 6 С Race: Human Height: 199 cm. Weight: 120 kg. Penis size: 35 cm. Description: Athletic young man with short hair. His pumped-up figure is adorned with muscle

Кроме того, можно выбрать (или сгенерировать, об этом позже) подходящий фон беседы

 A bedroom tatami ff1*' j f «I '(* cityscape medieval night japan classroom side japan classroom japan path cherry blossom bedroom clean System Backgrounds S Auto-select cityscape medieval market .transparent bedroom cyberpunk > ; . . - ■ forest treehouse fireworks air baloons (by

По большей части всё – можно беседовать!

▼ А Rin Tohsaka January 13.2024 8:35 PM V Сейчас обеденный перерыв, и Тосака Рин ждет Игната на крыше школы, которая обычно закрыта. Здесь он делится с ней #0 информацией в рамках ее сделки с этим учеником мага. Когда он входит, она смотрит на него с игривым выражением лица и приветствует

Стрелка справа от ответа персонажа это «свайп», при нажатии на неё сгенерится другой ответ, но вы всегда можете вернуться к предыдущему. Карандашик позволяет отредактировать любую реплику, как свою, так и бота в любой момент. Это очень полезно, если вдруг появилось желание разыграть другую сцену или просто что-то слегка подправить.

При нажатии на иконку персонажа, вы увидите его описание, которое точно также можно изменить в любой момент.

Что-ж, это был необходимый минимум, для начала использования таверны.

Но для тех, кому этого мало, продолжаем!

Особые возможности.

Преобразования вашей речи в текст. (STT) (понадобится микрофон)

Открываем расширения, вкладку «Download Extensions &Assets» и жмём кнопку подключения, соглашаясь с всплывающим сообщением.

т * а ш it, n & Расширения 0 Notify on extension updates & Manage exl Download Extensions & Assets Q Quick Reply Assets URL Chat Translation https://raw.githubusercontent.com/SillyTavern/SillyTave 11 ▼6 Image Captioning Extension Summarize & To download extensions from this page, you

Появится длинный список из разного рода улучшалок. У всех есть описания и их все вы можете попробовать самостоятельно, но я советую начать с «Speech Recognition»

Speech Recognition C3 Convert your speech to text using browser or extras.,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

После установки в расширениях появится новая вкладка. В ней нужно выбрать «браузер» и Русский язык. После этого рядом с кнопкой отправки сообщения появится также иконка микрофона, нажимаем её и говорим.

Преобразование текста в речь (TTS)

Дальше будет чуть сложнее, потому что теперь мы дадим голос ещё и нашей вайфу!

Для этого понадобится настроить вкладку расширений TTS.

TTS TTS Provider Loaded Select TTS Provider XTTSV2 Eleven Labs Silero XTTSv2 System Coqui Edge Novel OpenAI_____________ Reload,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Здесь интереснее всего 2 пункта: Silero и XTTSv2.

Результат работы Silero вы могли слышать в колабе text-generation-webui.Но в таверне подключение этого модуля на русском языке вызывает некоторое количество боли, так что как-нибудь в другой раз.

Поэтому подключаем https://github.com/daswer123/xtts-api-server

Вы можете установить его локально, следуя инструкции, но для начала лучше попробовать колаб: https://colab.research.google.com/drive/1b-X3q5miwYLVMuiH_T73odMO8cbtICEY?usp=sharing#scrollTo=nLS9QDgnrUmR

В настройках в строке Model_source: выбираем «apiManual»

Choose model source Model_souree: apiManual If you select local, the model of version Model_version will be loaded. Will use local transform.,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Затем просто запускаем все ячейки по очереди сверху вниз, пока в консоли последней не получим строчку

> Using model: xtts 2024-01-13 14:08:13.355 | INFO | xtts_api_server.tts_funcs:load_model:193 - Model successfully loaded INFO: Started server process [1364] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://127.0.0.1:8020 (Press CTRL+C

После этого прокручиваем консоль в самое начало и ищем ссылку

Your url for SillyTavern: httos://emerging-sims-researcher-im.trvcloudflare.com,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Именно её нужно вставить в таверну:

XTTSV2 v Reload O Enabled 0 Narrate user messages O Auto Generation 0 Only narrate "quotes" O Ignore *text, even "quotes", inside asterisks* O Narrate only the translated text 0 Skip codeblocks [Default Voice] disabled v Ignat (Default Voice] v Rin Tohsaka female v Language Russian v

После этого настройки должны выглядеть так. Если поля с выбором голоса персонажа не появилось, перезагрузите страницу и снова войдите в чат с персонажем. Ползунки можно пробовать двигать, чтобы получить другой результат.

Голос для персонажа нужно выбрать обязательно, иначе он не заговорит.

Запустить озвучку фразы можно кнопкой

ЕвУ14<2>#рансР^ , ожидая увидеЩЦШ!Ш1ШЛ^ю юзнаградить-». ррт. но пстпнпвливпртся но,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Но если вы настроили всё как на картинке, генерация будет идти автоматически после ответа.

Эмоции и сумморайз.

Теперь мы наконец-то можем общаться в живую! Но как-жевизуальный контакт? Разумеется, это тоже не обошли стороной, именно для этого мы с вами скачивали спрайты эмоций в папку с персонажем!

Для этого нам понадобится запустить отдельный сервер расширений.

Итак, идём на гитхаб https://github.com/SillyTavern/SillyTavern-Extras

Лучше поставить всё это локально следуя инструкции на странице (что гораздо удобнее для повседневного использования).
Но попробовать можно и в колабе (не опять, а снова)

https://colab.research.google.com/github/SillyTavern/SillyTavern/blob/release/colab/GPU.ipynb

Ничего не меняем, запускаем последнюю ячейку и ждём ссылки

Running on: https ://king-wellness-congressional-fake.trvcloudflare.com * Serving Flask app ’server' * Debug mode: off WARNING: This is a development server. Do not use it in a production deployme * Running on http ://localhost : 5100 Press CTRL+C to quit,нейронные сети,ChatGPT,gpt,локальные

Ссылку вставляем в нижнее поле окна Расширения

Расширения Download Extensions & Assets Character Expressions Image Generation ? Image Prompt Templates TTS Speech Recognition Extras API: SillyTavern-Extras https://king-wellness-congressional-fake.trycloudflare.com E & Notify on extension updates & Manage extensions A Install extension Q

Затем для удобства, рекомендую включить !!!РЕЖИМ ВАЙФУ!!! В настройках визуала.

Gill Настройки пользователя Advanced v •о И ^ 0 S Язык интерфейса По умолчанию v SillyTavem 1.11.2 j Search Settings Предустановки интерфейса Default (Dark) 1.7.1 ^ В ft Цвета интерфейса Стиль аватаров Крутые v Стиль чата по умолчанию v Основной текст Курсивный текст Текст в кавычках

И вот, мы уже можем общаться лицом к лицу! Алилуйа!

его на крыше, немного раздосадованная его опозданием, цокая языком. Наконец, когда он появляется, она начинает довольно рычать. «Ну и сколько мне пришлось тебя ждать? Ты опоздал! Опять!» Ignat January 13, 2024 8:35 PM Is Привет! Rin Tohsaka January 13,2024 8:38 PM V Она смотрит на него с

Спрайты персонажа будут меняться в зависимости от его «эмоций». Кроме того, они могут быть анимированы (но встречаются такие редко).

Также стоит упомянуть о вкладке Summarize в расширениях.

Это очень полезная штука, увеличивающая «память» бота. Работает это так: в какой-то момент, пока размер контекста ещё не превышен, модель кратко конспектирует суть происходящего. Затем этот «конспект» будет отправляться вместо не входящей в контекст истории чата.

Summarize with: Extras API Current summary: Summary will be generated here... S Pause O Summary Settings Insertion Template [Summary: {{summary}}] Injection Position • Before Main Prompt / Story String O After Main Prompt / Story String • In-chat @ Depth 2 Restore Previous •

Summarize & Summarize with: Main API /\ Current summary: Restore Previous [Taking the above information into consideration, you must chat in a roleplaying manner with Rin Tohsaka. Never write for Rin Tohsaka in your | responses.] *As Rin and Ignat continue their training session together,

Есть два варианта конспектирования: С использованием основной модели (будет генерироваться как дополнительная реплика, с той же скоростью), либо с использованием специальной модели в сервере расширений (но тогда этот сервер должен быть запущен и подключен).


Групповые чаты

Но чего-то не хватает… Правильно, зачем общаться с одной аниме-тян, когда можно общаться с двумя?!

Выбираем опции в левом нижнем углу чата и жмём «превратить в группу»

нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Переходим в меню персонажа и в настройках открываем вкладку «добавить членов»

Group: Rin Tohsaka Контроль группы Group: Rin Tohsaka Щ Искать / Создать тэги Щ Сортировка ответов в группе Обычный порядок v Group generation handling mode Swap character cards v «- ★ Разрешить ответ себе Автоматический режим 5 Hide Muted Member Sprites Текущие члены & 1-2 of 2 < >

После чего составляем нужный нам для досуга список.

Глаза Сэйбер сияют уверенностью, когда она нежно сжимает рукоять меча Как Король Рыцарей, я обладаю #4 исключительными боевыми способностями, отточенными годами опыта на поле боя. Мое главное оружие — 50.9s Экскалибур, божественный меч, подаренный мне Владычицей Озера. С его помощью я могу


Генерация иллюстраций к чату.

Так, что же ещё нам может понадобиться? Конечно же иллюстрация происходящего с помощью Stable Diffusion!

Q Image Generation ? O Edit prompts before generation 9 Interactive mode 9 Use multimodal captioning for portraits 9 Auto-enhance prompts Source Extras API (local / remote) v Extras API (local / remote) Stable Horde Stable Diffusion Web Ul (AUTOMATIC1111) SD.Next (vladmandic) NovelAI

На выбор есть несколько вариантов. Если у вас подключен сервер API, вы можете сгенерировать картинку через встроенный SDмодуль. Также можно подключить через APIсобственныйзапущенный StableDiffusion.Но мне больше нравится вариант StableHorde,т.к. он всегда доступен и не требует дополнительных модулей.

Жмём на волшебную палочку в нижней левой части чата и выбираем Generate Inage и далее один из пунктов

Send me a picture of: Yourself Your Face K( Me a' ia The Whole Story The Last Message ¡a. Raw Last Message ^ iv Background W I i J ridyudlft y Generate Image 2 X ™ #! H Generate Caption Vt 48 1 Token Counter oc □D Translate Chat,нейронные сети,ChatGPT,gpt,локальные языковые

Теперь ждём пока не получим результат!

фЪ \ Rin Tohsaka January 13.2024 9:56 PM V i С интересом глядя на Сэйбер, Рин мысленно отмечает ее невероятные навыки и оружие. Однако ее больше интересует ее #5 Мастер, чьи магические запасы, кажется, неуклонно истощаются. "Итак... Игнат, сколько запасов праны у тебя 48,85 осталось? Твои запасы

Это может быть неплохой заменой спрайтам эмоций, превращающей чат в графическую новеллу.

Но учтите, что перед генерацией картинки, ваша текстовая модель сгенерирует для неё промпт. Так что всё это может занять дополнительное время.

Конечно в таверне ещё много фишек и настроек, но пока думаю стоит на этом остановиться.

Спасибо всем, кто дочитал до этого момента не пролистывая!

P.S. Если вы, чтобы не ждать очереди в Хорде, запустили LLMв колабе Text Generation WebUI, затем чтобы не устанавливать TTS, запустили в колабе и его, и в конце то же самое сделали с сервером дополнений, то поздравляю, у вас фуллхаус!

Развернуть
Комментарии 5813.01.202422:03ссылка12.3
bublegumerbublegumer

нейронные сети ChatGPT gpt локальные языковые модели llm google colab вайфу SillyTavern Видио 

Общение с нейровайфу

По просьбам трудящихся сделал демонстрацию того на что похож современный нейро-кум.

Как сделать также?
Часть 1 (легко): https://joyreactor.cc/post/5733950

Часть 2, как в видео (сложно): https://joyreactor.cc/post/5736750

+ боты из видео https://files.catbox.moe/bwkaq3.zip

P.S. Вообще PsyMedRP умеет правильно отвечать на этот вопрос, но надо посвайпать и желательно квант иметь побольше, от 4q.

Развернуть
Комментарии 717.01.202411:54ссылка0.8
KupiBatonKupiBaton

ебливые училки учительница Языковые искусства 

Валерия была заведующей отделом языковых искусств в школе в Майами, где она работала уже 7 лет, пишет The Sun. Она была популярной учительницей среди своих учеников — часто болтала с ними напрямую через социальные сети и участвовала в их совместных инициативах.

Валерия всю жизнь была поклонницей Star Trek, она окончила Университет Джонса Хопкинса в Балтиморе на отлично и вышла замуж в 2013 году.

Согласно имеющимся показаниям ученика, Валерия была инициатором экстремального орального секса прямо в классных комнатах — бесчисленное количество раз. Также они любили заниматься любовью в машине Валерии и в спальне у ученика в доме. Школьник признался, что сам пошёл на половой контакт с Валерией и часто приглашал её к себе.
ебливые училки,учительница,Языковые искусства
Развернуть

Отличный комментарий!

студент нырял в ее пилотку
она его сосала член...
в американских школах - четко!
и нет с ЕГЭ у них проблем...
теперь она сидит на киче
а он домашний арестант
была она не просто teacher
у ей лингвиста был талант!
KupiBaton KupiBaton 10.01.201813:12 ссылка
+69.6
Комментарии 6710.01.201813:12ссылка67.1
Ktd,. Ktd,.

говноислам зверьки модель 

Пакистанскую Ким Кардашьян задушил брат из-за фото в откровенных нарядах

Пакистанскую модель Кандил Балоч (Qandeel Baloch) нашли мертвой в ее доме в провинции Пенджаб. Девушку задушил собственный брат Васим, сообщает BBC News. Полиция уверена, что 26-летняя знаменитость стала жертвой убийства чести, так как публиковала в интернете откровенные, по местным меркам, фотографии.

Родители Балоч отметили, что Кандил с Васимом серьезно поссорились вечером в пятницу, 15 июля, но тело дочери они обнаружили только утром в субботу. Отец и мать модели взяты под стражу до выяснений обстоятельств случившегося.

Самому Васиму удалось скрыться, сейчас полиция его разыскивает.

Как отмечает BBC News, Балоч и ее семье из-за получаемых угроз пришлось перебраться в провинцию Пенджаб из Карачи, где они жили. Девушка просила правоохранительные органы о защите, но те ей отказали. Пакистанцев оскорбили не только ее фотографии в откровенных нарядах, но и снимок, на котором девушка с сомнительной репутацией запечатлена с мусульманским муфтием.

Балоч стали сравнивать с американкой Ким Кардашьян после того, как в 2014 году пакистанка выложила в сеть видеозапись, на которой надула губы и спрашивала: «Как я выгляжу?» Ролик стал вирусным. Многие жители страны поддержали Балоч, называли ее иконой стиля и приветствовали ее свободные взгляды, но противников модели было больше.

Убийство чести — преступление, совершаемое родственниками девушки, навлекшей позор на свою семью. Случаи до сих пор нередко фиксируются в Пакистане и других мусульманских странах.
говноислам,зверьки,модель
Развернуть
Комментарии 111 17.07.201620:13 ссылка 15.4
tossshiktossshik

Искусственный Интеллект нейронные сети твиттер 

BioBootloader O @bio_bootloader Language Model: *finds cure for cancer* Al Commentator: "actually, if you look at the cure, it's just a statistical remix of ideas that were in the training data. You see, the model isn't actually intelligent, it just predicts the next token one at a time."

Языковая модель: *находит лекарство от рака*

ИИ комментатор: "на самом деле, если посмотреть на лечение, это всего лишь статистическая смесь из идей, которые уже были в обучающих данных. Видите ли, модель не обладает настоящим интеллектом, она просто предсказывает следующий токен, один за одним."

Развернуть
Комментарии 11931.03.202310:10ссылка-11.2
OneteadayOneteaday

аудиокнига нейросети песочница 

Есть ли бесплатные инструменты для озвучивания книг силами нейросетей?

Прочитал статью про "В России активно переходят на озвучку книг с помощью ИИ В России активно переходят на озвучку книг с помощью ИИ" и задумался о сервисах с возможностью создания голоса и затем озвучивания книги для прослушивания.

Может кто подскажет есть ли сейчас сайты/открытые нейросети для создания языковых моделей по интересующему фрагменту голоса (слушать гугл или яндекс механику мочи нет), а затем использовать этот голос для чтения книги?

Так же интересует момент с читалкой с поддержкой сторонней языковой модели или может есть сайт/программа по типу Stable Diffusion, где можно добавив свою языковую модель и нужный текст получить на выходе звуковой файл mp3?

Развернуть
Комментарии 720.09.202300:07ссылка-4.9
ivanboltaiivanboltai

gpt gpt4all нейросети песочница 

GPT4All: новая эра общения с ИИ без ограничений и цензуры.

GPT4All - это экосистема с открытым исходным кодом для обучения и развертывания мощных и настраиваемых больших языковых моделей, которые работают локально на процессорах потребительского класса. 

Это бесплатное приложение от Nomic AI, компании, которая занимается информационной картографией.
 

Полный контроль и конфиденциальность - модели работают локально на вашем ПК, нет утечек данных.

Возможность тонкой настройки и адаптации моделей под свои задачи

С помощью GPT4All вы можете скачивать и тут же запускать такие передовые языковые модели как:

LLama2: самая большая языковая модель в мире,                      обученная на 13 биллонах токенов.

GPT4ALL: универсальная модель, которая может генерировать тексты на любую тему и в любом стилеWizard: модель, которая специализируется на создании чат-ботов, генерации кода, рассказов и диалогов 

Wizard_uncensored и Hermes_uncensored: модели, которые не имеют никаких ограничений и цензуры, и могут говорить все, что угодно

Каждая модели представляет собой файл 3-8Гб, который вы скачиваете и подключаете к экосистеме GPT4All, обеспечивающую качество и безопасность

Теперь вы можете общаться с ИИ, задавать любые вопросы, давать задачи - и все это без ограничений и цензуры, прямо на вашем ПК

Подробнее на англ https://gpt4all.io/index.html


GPT4AII Datalake 6/8/2023 .1 ИГО?,gpt,gpt4all,нейросети,песочница
Развернуть

Отличный комментарий!

Ого. Кто-то уже тестил?
Я в chat gpt 3.5 постоянно обращаюсь за сложньіми sql запросами, помощью с rest/api и прочей фигней для пайтона. Справляется неплохо.
Кто еще тут юзает чат гпт в работе?
Топинамбур Топинамбур02.08.202313:32ссылка
+10.9
Без нейронки ты даже писать разучился
John_Wheels John_Wheels02.08.202314:58ссылка
+44.6
Комментарии 12502.08.202313:11ссылка59.7
2699426994

репост с 3DNEWS ИИ нейронные сети 

Разработчики ИИ стали переходить на компактные ИИ-модели — они дешевле и экономичнее

Технологические гиганты и стартапы переходят на более компактные и эффективные модели искусственного интеллекта, стремясь сократить расходы и повысить производительность. Эти модели, в отличие от своих «старших братьев», таких как GPT-4, могут обучаться на меньшем объёме данных и специализируются на решении конкретных задач.

Microsoft, Google, Apple и стартапы, такие как Mistral, Anthropic и Cohere, всё чаще обращаются к малым и средним языковым моделям искусственного интеллекта. В отличие от больших моделей (LLM), таких как GPT-4 от OpenAI, которые используют более одного триллиона параметров и их разработка оценивается далеко за 100 миллионов долларов, компактные модели обучаются на более узких наборах данных и могут стоить менее 10 миллионов долларов, при этом используя менее 10 миллиардов параметров.

Компания Microsoft, один из лидеров в области ИИ, представила семейство небольших моделей под названием Phi. По словам генерального директора компании Сатьи Наделлы (Satya Nadella), эти модели в 100 раз меньше бесплатной версии ChatGPT, но при этом справляются со многими задачами почти так же эффективно. Юсуф Мехди (Yusuf Mehdi), коммерческий директор Microsoft, отметил, что компания быстро осознала, что эксплуатация крупных моделей ИИ обходится дороже, чем предполагалось изначально, что побудило Microsoft искать более экономичные решения.

Другие технологические гиганты также не остались в стороне. Google, Apple, а также Mistral, Anthropic и Cohere выпустили свои версии малых и средних моделей. Apple, в частности, планирует использовать такие модели для запуска ИИ локально, непосредственно на смартфонах, что должно повысить скорость работы и безопасность. При этом потребление ресурсов на смартфонах будет минимальным.

Эксперты отмечают, что для многих задач, таких как обобщение документов или создание изображений, большие модели вообще могут оказаться избыточными. Илья Полосухин, один из авторов основополагающей статьи Google в 2017 году, касающейся искусственного интеллекта, образно сравнил использование больших моделей для простых задач с поездкой в магазин за продуктами на танке. «Для вычисления 2 + 2 не должны требоваться квадриллионы операций», — подчеркнул он.

Компании и потребители также ищут способы снизить затраты на эксплуатацию генеративных технологий ИИ. По словам Йоава Шохама (Yoav Shoham), соучредителя ИИ-компании AI21 Labs из Тель-Авива, небольшие модели могут отвечать на вопросы, если перевести всё в деньги, всего за одну шестую стоимости больших языковых моделей.

Интересно, что ключевым преимуществом малых моделей является возможность их тонкой настройки под конкретные задачи и наборы данных. Это позволяет им эффективно работать в специализированных областях при меньших затратах, например, только в юридической отрасли.

Однако эксперты отмечают, что компании не собираются полностью отказываться от LLM. Например, Apple объявила об интеграции ChatGPT в Siri для выполнения сложных задач, а Microsoft планирует использовать последнюю модель OpenAI в новой версии Windows. А такие компании как Experian из Ирландии и Salesforce из США, уже перешли на использование компактных моделей ИИ для чат-ботов и обнаружили, что они обеспечивают такую же производительность, как и большие модели, но при значительно меньших затратах и с меньшими задержками обработки данных.

Переход к малым моделям происходит на фоне замедления прогресса в области больших публично доступных моделей искусственного интеллекта. Эксперты связывают это с нехваткой высококачественных новых данных для обучения, и в целом, указывают на новый и важный этап эволюции индустрии.

Источник:

https://3dnews.ru/1107613/v-mire-ii-nametilas-novaya-tendentsiya-kompanii-stali-perehodit-na-kompaktnie-i-deshyovie-iimodeli

Развернуть
Комментарии 7807.07.202422:41ссылка21.3
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме Языковые модели (+1000 картинок)