ИИ-композитор от Adobe сможет озвучивать фильмы, рекламу и тиктоки

Adobe разрабатывает программу для генерации отрывков музыки по текстовым запросам и построения на их основе полноценных композиций. В будущем технологию могут встроить в видеоредакторы — она пригодится, например, для быстрого создания звуковой подложки. Если эксперимент удастся, то покупать музыку или пытаться найти подходящую среди доступной бесплатно больше не придется.

Adobe уже встроила технологии искусственного интеллекта в свои приложения — Photoshop, Premier Pro, After Effects и другие. Они используются для генерации изображений и векторной графики, выделения объектов на фото и видео и других функций, упрощающих и ускоряющих работу. Но на визуальном искусственном интеллекте (ИИ) компания останавливаться не собирается: в Adobe рассказали об экспериментальном проекте Project Music GenAI Control, в котором нейросети применяют для создания и редактирования музыки.

Проект представили в среду на конференции Hot Pod Summit в Нью-Йорке. Программа позволяет создавать музыку при помощи текстовых запросов, а затем изменять полученный результат, не прибегая к помощи специализированного программного обеспечения. Пользователю достаточно ввести подсказку (prompt), задающую нужный стиль — например, «радостный танец», «грустный джаз» или «энергичный хип-хоп».

Но это только первый шаг. Исходный музыкальный отрывок используется как отправная точка для создания более длинных композиций. Нейросеть может добавить вариации мелодии, ритма или интенсивности, комбинировать разные музыкальные паттерны, менять структуру композиции. Кроме того, в качестве подсказки можно использовать собственную мелодию, а ИИ создаст на ее основе полноценно аранжированную музыку в нужном стиле — хоть для фильма ужасов, хоть для рекламного ролика.

Adobe не первой стала учить искусственный интеллект профессии композитора. Нейросетевые модели, создающие музыку или звуковые эффекты, разрабатывают как ИТ-гиганты вроде Google (MusicLM, Lyria), Meta* (MusicGen, AudioCraft), Microsoft (Muzik) так и компании поменьше — StabilityAI (Stable Audio), и небольшие стартапы (Suno, Riffusion, AudioCipher).

Все перечисленные инструменты ограничиваются (по крайней мере, пока) генерацией коротких композиций или отрывков, не давая возможности модифицировать их. Таким образом, добиваться нужного звучания и собирать полноценную музыку из этих кирпичиков придется в аудиоредакторе. Adobe же хочет создать нейросеть-композитора, полностью управляемую текстовыми подсказками и доступную без знания специального программного обеспечения.

В компании подчеркивают, что эксперимент находится на ранней стадии. У Music GenAI Control пока толком нет даже пользовательского интерфейса. В промо-видео показано, что все делается через командную строку. Проект в настоящее время закрытый и доступен только разработчикам — специалистам из Adobe, Университета Калифорнии и Школы информатики при Университете Карнеги-Меллон.

Adobe пока ничего не обещает, но очевидными кандидатами для внедрения ее ИИ-композитора являются приложение для монтажа, записи и восстановления аудиоконтента Audition и система видеомонтажа Premiere Pro. Как и мобильный видеоредактор Premiere Rush, в котором пользователи могли бы быстро создавать собственную музыку для тиктоков или Reels. Юридических проблем возникнуть не должно: в компании говорят, что обучают нейросети только на материалах, не защищенных авторским правом, или официально лицензированных у правообладателей.

*объявлена экстремистской и запрещена в РФ