Звуки Me: что умеет MusicGen, новый музыкальный нейропомощник от Meta

Meta* выпустила ИИ-генератор музыки MusicGen с открытым кодом. Он может создавать короткие инструментальные треки на основе текстового описания, а также с использованием референса — загруженного отрывка композиции. Нейросеть пока сочиняет довольно посредственную музыку, не разбирается в музыкальных коллективах, но талантливо делает аранжировки, убедился корреспондент ADPASS.

Что такое MusicGen

MusicGen — это новый музыкальный генератор на основе ИИ от корпорации Meta. Научный сотрудник Facebook** Габриэль Синнев представил нейросеть на LinkedIn и GitHub 10 июня. Он описал ее как «простую и управляемую модель для создания музыки», в которой используется звуковой токенизатор Meta EnCodec и модель преобразователя.

Нейросеть может превратить текстовое описание — например, «рок-песня 90-х с электрогитарой и тяжелыми ударными» — в аудио длиной до 30 секунд (в демо-версии — 12 секунд). Также можно загрузить композицию-референс, и тогда MusicGen создаст отрывок на ее основе, следуя текстовым указаниям.

Демоверсию можно потестировать на хостинге Hugging Face, репозитарий доступен на GitHub. Пока Meta не представила код, который она использовала для обучения нейросети, но выложила четыре предобученные модели, которые можно запустить на графических процессорах (GPU) с видеокартой Nvidia от 8 Гб и выше. Пользователь @ligofff подробно рассказал на «Хабре», как это сделать.

Как работает MusicGen

Корреспондент ADPASS протестировал музыкальный генератор в демоверсии на Hugging Face. Чтобы воспользоваться ей, нужно заполнить окно текстового запроса на английском, по желанию загрузить аудио-файл для референса и подождать в очереди от 80 до 800 секунд.

Для начала корреспондент попросил MusicGen написать постпанковую композицию, похожую на Joy Division. На выходе получился какой-то невнятный гаражный кавер «Короля и Шута».

Синтипоп-песня 80-х, где была бы драм-линия в стиле Kraftwerk, тоже не удалась. Стало понятно, что нейрогенератор не реагирует на текстовые референсы в виде названий музыкальных коллективов и не может стилизовать под них треки.

Но MusicGen неожиданно хорошо справился с аранжировкой в стиле 80-х самого известного произведения для органа Иоганна Баха «Токката и фуга ре минор, BWV 565» (это был один из примеров на Hugging Face). Из 10-секундного закачанного отрывка и описания «зажигательная поп-песня 80-х с тяжелыми ударными и синтетическими пэдами на заднем плане» получилась довольно качественная музыка в стилистике A-ha.

С нынешней продолжительностью и качеством треков музыкальный генератор Meta может быть потенциально интересен разработчикам инди-игр и создателям контента для соцсетей. Но в целом, в отличие от ChatGPT и генерирующих изображения нейросетей, наступающих на пятки копирайтерам и дизайнерам, MusicGen и подобные ему модели пока далеки от того, чтобы отобрать работу у музыкантов.

А пока что по-прежнему проще использовать разрешенную на платформе известную песню, бесплатную музыку или композиции по лицензии Creative Commons.

* признана экстремистской организацией и запрещена в РФ

** продукт компании Meta (признана экстремистской организацией и запрещена в РФ)