MusicLM

Подписчиков: 1     Сообщений: 1     Рейтинг постов: 19.6

наука и техника технологии нейронные сети ИИ AI Google MusicLM музыка слава роботам 

"Google" создала ИИ, который генерирует сложную музыку по текстовым описаниям

 

"Google" представила систему искусственного интеллекта "MusicLM", которая способна генерировать музыку в любом жанре по текстовому описанию. Однако компания пока не будет открывать доступ к нейросети.

 

наука и техника,технологии,нейронные сети,ИИ,AI,Google,интернет,MusicLM,музыка,слава роботам

 

Альтернативы новому ИИ, к примеру, "Riffusion", из-за технических ограничений и относительно небольшого набора данных для обучения не способны создавать сложные композиции.

Однако "MusicLM" обучали на наборе данных из 280 тысяч часов музыки, чтобы научить генерировать песни «значительной сложности» (например, "очаровательный джаз" или "берлинское техно 90-х").

 

Product Hunt
@ProductHunt
Yesterday, Google published a paper on a new Al model called MusicLM.
The model generates 24 kHz music from rich captions like "A fusion of reggaeton and electronic dance music, with a spacey, otherworldly sound. Induces the experience of being lost in space.",наука и

"Twitter".

 

Нейросеть способна уловить такие нюансы описания, как инструментальные риффы, мелодии и настроение. Например, "MusicLM" может сгенерировать мелодию, которая должна вызвать "ощущение пребывания в космосе" или "основной саундтрек аркадной игры".

 

Text prompt
Generated audio
melodic techno
► •
0:00 / 5:00,наука и техника,технологии,нейронные сети,ИИ,AI,Google,интернет,MusicLM,музыка,слава роботам

 

Исследователи "Google" пояснили, что система может основываться на существующих мелодиях, будь то напевание, пение, насвистывание или игра на инструменте. Более того, "MusicLM" может взять несколько последовательно написанных описаний (например, "время медитировать", "время просыпаться", "время бежать", "время выложиться на 100%"), чтобы создать своего рода мелодическую "историю" продолжительностью до нескольких минут наподобие саундтрека для фильма.

 

Text prompts
time to meditate (0:00-0:15) time to wake up (0:15-0:30) time to run (0:30-0:45) time to give 100% (0:45-0:60)
Generated audio
0:00/ 1:00 4$,наука и техника,технологии,нейронные сети,ИИ,AI,Google,интернет,MusicLM,музыка,слава роботам

 

"MusicLM" также можно инструктировать с помощью комбинации изображения и подписи или генерировать звук, который "играет" инструмент определённого типа в определённом жанре. Можно установить даже уровень опыта "музыканта".

 

"Inspired by a hallucinatory experience in which Munch felt and heard a scream throughout nature, it depicts a panic-stricken creature, simultaneously corpse like and reminiscent of a sperm or fetus, whose contours are echoed in the swirling lines of the blood-red sky." By Zaczek, lain. "The

 

Тем не менее, некоторые мелодии имеют искажения как неизбежный побочный эффект тренировочного процесса. Технически "MusicLM" может генерировать вокал, включая хоровые гармонии, но пока они оставляют желать лучшего. Большая часть "текстов" песен варьируется от подобия английского до набора звуков, которые исполняют синтезированные голоса.

Исследователи "Google" отмечают и множество этических проблем, связанных с "MusicLM", включая нарушение авторского права. Во время эксперимента они обнаружили, что около 1% музыки, сгенерированной системой, был просто отрывками из песен, на которых она обучалась.

Между тем модель "Riffusion" открыта под лицензией "Creative ML OpenRAIL-M", допускающей использование в коммерческих целях. Она работает по аналогии с модификацией изображений в "Stable Diffusion". Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.

Развернуть

Отличный комментарий!

Как обмануть идиота
Generated audio
qwerty000034 qwerty000034 28.01.202317:45 ссылка
+37.9
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме MusicLM (+1 картинка, рейтинг 19.6 - MusicLM)