Нейросеть научили воссоздавать движение рук человека, основываясь только на записи речи. / слава роботам :: нейросеть :: гиф анимация (гифки - ПРИКОЛЬНЫЕ gif анимашки) :: видео (video) :: geek (Прикольные гаджеты. Научный, инженерный и айтишный юмор)

нейросеть слава роботам geek видео гифки 

Нейросеть научили воссоздавать движение рук человека, основываясь только на записи речи.

Технологию назвали Speech2Gesture


Пример анализа рук во время обучения:


Подробнее



Learning Individual Styles of Conversational Gesture,Science & Technology,Computer Vision,Motion Synthesis,Multimodal Prediction,Graphics,Project website: http://people.eecs.berkeley.edu/~shiry/speech2gesture/
нейросеть,слава роботам,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор,видео,video,гиф анимация,гифки - ПРИКОЛЬНЫЕ gif анимашки
Еще на тему
Развернуть
Крутяк какой.
Господа, делайте ваши ставки: в каком году и месяце состоится первое бракосочетание между человеком и виртуальной личностью на НС?
В каком году и месяце состоится первое бракосочетание между двумя виртуалками на НС?))
idlbi idlbi 19.06.201914:10 ответить ссылка -0.8
В Японии каждый год кто-то женится на виртуальных вайфу, осталось прикрутить нейросеть. А вот свадьба двух нейросетей, обучаемых независимо друг от друга - это уже что-то новое
Создать несколько поколений обучающихся нейросетей и посмотреть, сколько из них и насколько быстро поймут что женится надо не просто "потому что так заведено"
а если у них возникнут чувства ревности?
К людям
Ну Вы совсем, ИИ они же умные и для обучения запрограмированны выбирать только решения приведшее к лучшему результату. Очевидно что ИИ сразу к гомоебле и разработки геля для пожизненного удаления волос с ануса приступят.
А что, есть такой гель?
Есть. Могу выслать. Правда, только от ста литров. Как надумаешь - дай знать.
idlbi idlbi 19.06.201919:12 ответить ссылка 0.5
Нейросети... пффф...

Свадьба двух Джойреакторцев! Вот это достойно первой полосы всех газет и журналов!
Кто там сейчас актуален... вроде про свадьбу смереки и валикона кто-то уже говорил, да?
легко 2077
А месяц?
idlbi idlbi 19.06.201916:41 ответить ссылка 0.1
Не в ближайшем будущем точно.
Современные искусственные нейронные сети показывают значительные успехи, но до труЪ сильного ИИ, не говоря уже о каких-то личностях (мы сами не знаем, что это) - им как до Луны пешком.

Обработка изображений - это область, где сети на коне. Лучше всего изучено, больше всего данных и все прочее. Но даже тут не все гладко. Например, хоть работы по one shot learning (обучение по одной картинке) и идут, но пока далеко до завершения и практического применения.

Обработка текста/речи/итп (последовательностей, короче). Похуже, но неплохо. word2vec вообще отличная штука (хотя, может щас это уже отстой времен мезозоя?)

Какие-то более сложные вещи? А вот тут хуй. Управление чем-то? Reinforcement Learning был (?) перспективный, но крайне нестабильный и пока далек от продакшна. А как представлять в сети какие-то сложные сущности, абстракции и отношения между ними? Тут вообще тьма.

Отдельно стоит выделить проблему понимания, как именно работает нейронная сеть. Есть ряд методик и придумывают новые, но все равно это какое-то колдунство.

Ну и еще одна проблема машинного обучения - данные. Данные, ДАННЫЕ, ДАННЫЕ, БОЛЬШЕ БЛЯТЬ ДАННЫХ! Почти любая проблема машинного обучения сейчас решает путем БОЛЬШЕ, БОЛЬШЕ ДАННЫХ! Тесла охуевает, когда видит велоспиед, пристегнутый сзади машины? Что делать? Правильно, надо найти кучу таких изображений и разметить их так, что там есть только одна машина, без велосипеда. Т.е. машина - это машина. Велосипед - это велосипед. Машина с велосипедом сзади - машина. Довольно далеко от человеческого понимания отношения между этими двумя объектами. Кстати, поэтому просто мега-бонус в области ML имеют крупные компании, а не стартапы из полутора бомжей. Потому что у них есть ДАННЫЕ и способ эти данные собирать. У гугла, у теслы, к примеру.
P.S. Я готов сделать следующие утверждения
1) Современные ИНС очень далеки от того, как работает реальный мозг. Это удобная и практичная модель, но не то.
2) Вангую: Когда/если будет создан реально труЪ ИИ (не будем дискутировать об определении) с, как вы говорите, личностью, то это будет построено на принципах, далеких от текущих ИНС.
Гладко стелешь, фраер)
Ставку делай.
idlbi idlbi 20.06.201910:31 ответить ссылка 0.0
с одной стороны - клёво, с другой - если конечный вариант будет так же колбасить пальцами, как и в примерах анализа - это будет немного пугающе.
Подозреваю, все зависит от вычислительных мощностей, которыми располагает сеть, и временем на рендер. Всегда можно взять сгенерированный меш и скормить его другому генератору, заточенному именно под правдоподобный рендер
Качество результата работы сети зависит от её архитектуры и объёма данных для обучения. А чтобы "пальцы не колбасило", достаточно небольшой фильтрации на стороне визуализации (банальные проверки на растяжение и ускорение).
Если присмотреться, то дергает руками тогда, когда они сложены и/или повернуты почти "торцом" к камере. На растопыренных пальцах все хорошо. Значит нужно просто наебашить больше обучающих данных на этот случай.
Отбрось предрассудки и просто понаблюдай. Это же прекрасно. Просто непривычно чуток.
idlbi idlbi 19.06.201914:25 ответить ссылка 0.1
именно что "непривычно": выглядит так, будто они либо читают скороговорки на языке глухонемых, либо - кастуют нечто особо сложное из высших разделов магии. и если первое я еще могут соотнести с реальностью, то последнее - чистая нарутовщина
Завораживает, неправда ли?
idlbi idlbi 19.06.201914:51 ответить ссылка 0.0
А можно было просто пальцам фиксированную длину дать
Похоже, что нейросеть обучается на каждом дикторе в отдельности и потом по звуку пытается отгадать, когда он что говорил. В принципе, можно дёшево и сердито имитировать человекодиктора, но иногда руки будут показывать совсем не то, что нужно и всё придётся править в ручную, так что смысла в этом нет, просто показали, что могут :3
yoburg yoburg 19.06.201916:01 ответить ссылка -2.6
Я уверен, это всё затевалось, чтобы в конце дать ей воспроизвести жесты по выступлению гитлера, и кекать с того что получится.
5482 5482 19.06.201916:17 ответить ссылка 1.5
На итальянцах уже тестировали?
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты