«Шедеврум» встал на ролики: нейросеть «Яндекса» научилась генерировать 4-секундные видео

Компания «Яндекс» первая в России представила общедоступную технологию генерирования видео с помощью нейросети. Эта возможность появилась в приложении «Шедеврум»: пользователь пишет запросы – приложение генерирует короткие ролики. Их можно использовать для музыкальных клипов, анимации, динамических аватарок для соцсетей.

Как делать ролики при помощи «Шедеврума»

Продолжительность ролика, генерируемого «Шедеврумом», — 4 секунды, частота – 24 кадра в секунду. Созданным нейросетью клипом можно поделиться или сохранить в формате MP4. Сейчас генерация видео запущена в тестовом режиме. Она доступна активным пользователям приложения, а увидеть результаты их творчества могут все.

Ролики в «Шедевруме», как и весь остальной контент, создаются по текстовому запросу. В следующем шаге пользователю предлагается четыре варианта первого кадра будущего клипа и набор анимационных эффектов для создания движения. На основе выбранного им изображения нейросеть сгенерирует обработанные версии и объединит все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъем и морфинг (постепенное изменение).

При создании видео используется метод каскадной диффузии. Эта технология позволяет «Шедевруму» генерировать отдельные изображения. Принцип работы двухэтапный: сначала нейросеть генерирует изображение на основе текстового запроса, а потом увеличивает разрешение картинки, насыщая ее деталями.

Генерация видео дополняет ранее представленные возможности «Шедеврума»: создание изображений и текстовых постов с заголовком и иллюстрацией.

Для коммерческого использования контента, сгенерированного «Шедерумом», нужно будет воспользоваться специальной формой обратной связи «Согласование коммерческого использования продуктов генерации нейросетей из “Шедеврума”». Ответ на запрос придет в течение пяти рабочих дней.