Разработчик собрал видео-ассистента с поддержкой множественных персонажей. / github :: talk-llama-fast :: голосовой помощник :: нейронные сети

Разработчик собрал видео-ассистента с поддержкой множественных персонажей.

" Работает на 3060 12 GB, Nvidia на 8 GB, скорее всего, тоже хватит.

Из-за записи экрана есть небольшие задержки.Без записи и на английском языке полная задержка от голосовой команды до видео ответа - всего 1.5 секунды! "

Код, exe, инструкция:https://github.com/Mozer/talk-llama-fast

Автор пишет: " Talk-llama-fast с поддержкой wav2lip:

- добавил поддержку XTTSv2 и wav-streaming.
- добавил липсинк с видео через wav2lip-streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- поддержка множественных персонажей.
- остановка генерации при обнаружении речи.
- команды: Google, стоп, переделай, удали всё, позови.

Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp "

Подробнее
talk-llama-fast wav2lip - неформальный видео-ассистент на русском
talk-llama-fast v0.1.3 - informal video assistant [en]
talk-llama-fast - инструкция на русском
нейронные сети,talk-llama-fast,голосовой помощник,github

Еще на тему

нейронные сети(26609)

Развернуть

Комментарии 2226.04.202417:06ссылка15.0

Выглядит как создание кошкодевочьки.

Nikopol77726.04.202417:11ответить ссылка 11.3

Жуть какая-то

Tlanexyotl26.04.202417:18ответить ссылка 2.1

Мечта человечества. Сидеть на диванчике и командовать. К умному дому присобачить и пусть уж лучше терминатор пол по ночам на кухне протирает и посуду моет.

Бесхребетный26.04.202417:24ответить ссылка ↑ 0.6

Долгожданная утопия, где у самого нищего крестьянина не менее трёх рабов

clif0826.04.202417:26ответить ссылка ↑ 12.6

Если при этом никому не нанесён вред, то почему бы и нет?

iHronos26.04.202418:11ответить ссылка ↑ 1.3

власть развращает, бесконечная власть развращает бесконечно, а наши нищие крестьяне и так не образец добродетели

пантограф26.04.202419:08ответить ссылка ↑ 1.5

Именно по этому всякую челядь нужно занять тяжелым трудом, правильно я понимаю?

kardras25.05.202422:11ответить ссылка ↑ 0.0

Нет, не правильно. Не поэтому.

пантограф25.05.202422:23ответить ссылка ↑ 0.0

>лучше терминатор пол по ночам на кухне протирает и посуду моет

Шторы шьет.

raven206127.04.202417:35ответить ссылка ↑ 0.0

Ахуительно, грежу мыслью голосового ассистента, даже когда-то забивал в VoxCommando всякие бинды на голосовые команды. C того времени прошло лет 7-8 и эту сферу уже просто не узнать, куча всяких умных колонок, а теперь и нейросеть прикрутили, крутяк.

Tetrix26.04.202417:35ответить ссылка 1.8

Как можно приспособить в работе? В теории

lolorins26.04.202417:56ответить ссылка 0.3

Собрал ИИ-сучку-цундере которую можно заткнуть. Ниплоха.

warrcan26.04.202418:02ответить ссылка 2.1

Будущее не просто наступил - оно влетело с двух ног и выбило нахрен дверь в настоящее

Kurchi26.04.202418:12ответить ссылка 3.3

И..... нихуя. Просто игрушка.

дольчехуй26.04.202420:08ответить ссылка ↑ 0.0

Это УЖЕ игрушка, о которой только "думали" пару лет назад...

Kurchi26.04.202421:27ответить ссылка ↑ 2.2

Колесо, на игрушечном велосипеде, тоже просто игрушка...но вот тебе на, на колесе держится практически все сухопутные передвижения. Тут так же. ИИ может быть прекрасной игрушкой. А может распутывать днк и найти нам рычажок бессмертия.