Как создавать контент: новые нейросети и обновления популярных GenAI-сервисов
ИИ-сервисы, которые пригодятся для генерации изображений, роликов, 3D-моделей и музыки.
Нейросети сегодня стали необходимым для создания контента инструментом. В подборке от СберМаркетинга — несколько новых нейросетей и обновлений популярных GenAI-сервисов, которые пригодятся для генерации изображений, роликов, 3D-моделей и музыки. Итак, что можно сделать с помощью новых нейросетей и дополнительных инструментов?
Генерировать изображения
Новая функция Character Reference в Midjourney позволяет создать своего персонажа, а затем использовать его на каждой картинке в серии сгенерированных изображений. Также Midjourney выпустила функцию Style Random — она позволяет «исследовать скрытое пространство визуальных стилей». По сути, направляет вашу подсказку на новые и случайные стили, из которых вы можете выбрать самые интересные. Чтобы применить новую функцию. просто добавьте «—sref random» в конец промпта.
Изображение, сгенерированное с помощью midjourneyIntel
Labs представила сервис NeuroPrompts, который самостоятельно расширяет примитивный промпт для Stable Diffusion в продвинутый, чтобы получить более детализированную картинку.
Один и тот же персонаж в разных генерациях Midjourney. Источник: sprinkleofai.com
Новая генеративная нейросеть от Huawei Pixart-Σ генерирует изображения сразу в 4K. Уже можно протестировать предыдущую версию Pixart.
В нейросети для создания и редактирования видео Pika появилась функция липсинка: сгенерированные персонажи научились открывать рот синхронно с произносимым текстом. В созданные с помощью сервиса ролики можно добавить синтетический голос с помощью модели ElevenLabs или загрузить свой аудиофайл.
Сгенерированный персонаж из проморолика Pika. Источник: YouTube
Alibaba разработала генератор говорящих аватаров EMO. Он анимирует фотографию человека, а затем добавляет аудиодорожку с речью — на выходе получается говорящая голова с реалистичной мимикой, которая может произнести любой текст.
Adobe разработал прототип музыкального AI-редактора Project Music GenAI Control. Он по промпту генерирует музыкальные треки, а затем позволяет отредактировать их в том же интерфейсе. Сервис может написать трек по мелодии-референсу или расширить исходный фрагмент до полноценного трека. Дата релиза пока неизвестна.
Анимировать сгенерированные изображения
Tencent разработал фреймворк Follow Your Click для точечной анимации сгенерированных изображений. Пользователю необходимо выделить нужную область мышкой, написать промпт и получить анимированную картинку. Но инструмент не может сгенерировать комплексную анимацию и ограничен простыми движениями: взмахи крыльев, покачивания головой.
У модели DynamiCrafter от того же Tencent в последнем обновлении появилась функция Generative Frame Interpolation, которая позволяет «достроить» анимацию из двух исходных кадров — первого и последнего. Также она может создавать зацикленные видео.
Модель для генерации 3D TripoSR позволяет по одному изображению объекта менее чем за секунду сгенерировать его 3D-версию. Новая нейросеть Stable Video 3D также создает 3D-объекты по одному изображению. Stable Video 3D работает на основе недавно выпущенной Stable Video Diffusion — модели для генерации видео.
Проморолик Stable Video 3D от Stability.ai. Источник: stability.ai
Leonardo представил функцию Style Reference — теперь можно придать своим творениям эстетику любого референсного изображения. Новая функция соблюдает точность при передаче стиля, что делает инструмент чрезвычайно гибким.
Функция Style Reference. Источник: leonardo.ai
Мы находимся на пороге новой эры креативного контента, где AI-технологии играют огромную роль. Вероятно, со временем ни один специалист, который создает контент, не сможет обойтись в своей работе без инструментов на основе искусственного интеллекта. СберМаркетинг не остается в стороне и также внедряет AI в процессы компании. Уже сейчас в СберМаркетинге есть несколько собственных разработок на основе искусственного интеллекта, которые упрощают и ускоряют работу сотрудников. Например, благодаря нашему внутреннему продукту AI-ассистент мы стали создавать рекламные тексты в 6 раз быстрее — сейчас за 60 минут мы готовим 6–8 рабочих лайнов.