12.09.2023, 21:08

Нейросеть с чувством юмора: на что способен генератор видео HeyGen

Мемогенератор HeyGen, созданный выходцами из Snapchat и TikTok, это лучшая нейросеть, что появилась после ChatGPT. И уж точно самая веселая по мнению корреспондента ADPASS, который взялся обучить русскому и английскому аватары Юрия Гагарина и Штирлица. Жаль, что ему не хватило денег, чтобы они заговорили совсем как живые.

Как из стартапа Movio получился HeyGen

Сервис HeyGen – результат ребрендинга стартапа Movio, платформы для создания рекламных видео с говорящими человеческими аватарами, запущенной в начале 2022 года. Официальное переименование состоялось весной 2023 года. Основатели сервиса — Джош Сюй, ранее работавший в Snap (Snapchat), и выходец из ByteDance (TikTok) Лян Ван. Финансирования проекта осуществляют инвесторы из фондов IDG, Sequoia Capital China и Baidu Ventures. Решения, предлагаемые AI-платформой, предназначены для создания видеоклипов, в которых персонажи будут произносить написанный креатором текст, имитирую нужные интонации, артикуляцию и мимику.

Сейчас работать с HeyGen можно только с десктопа или ноутбука через браузер. О разработке мобильного приложения информации нет.

Три варианта подписки на HeyGen

HeyGen – платный сервис. Но для ознакомления с его потенциалом есть бесплатный пробный тариф с сильно ограниченным функционалом.

Платных тарифных планов три. Чем больше контентмейкер готов заплатить, тем больше сервисов HeyGen окажется в его распоряжении. Например, самый недорогой план Creator ($29 в месяц) даст сгенерировать видео длиной до 5 минут, Business ($89) удлиняет хронометраж ролика до 20 минут, а цена самой полной версии Enterprise не называется, она договорная.

Чем платят в HeyGen

В HeyGen есть собственная валюта – кредиты (Credits), как в «Звездных войнах». Кредитами оплачивается работа сервиса, они привязаны к длительности видео. 1 кредит равен 1 минуте созданного контента. Стоимость услуг платформы округляется в большую сторону с квантованием в 30 секунд (0,5 кредита). Например, пользователь создает ролик длиной 60 секунд — за это с него списывается 1 кредит. Если продолжительность 61 секунда, то автор заплатит 1,5 кредита – как если бы видео длилось 90 секунд.

Сумма кредитов, доступных автору HeyGen, зависит от тарифного плана. Выбравшие подписку Creator получат 15 кредитов (максимум 15 минут видео в месяц), Business — 30 кредитов (30 минут), а хронометраж клипов Enterprise-подписчиков будет зависеть только от суммы на их банковском счете.

Пользователям, которые хотят создать видео или аватара при помощи HeyGen бесплатно, платформа в рамках пробной подписки Free дарит 1 кредит, которым автор может оплатить максимум два клипа продолжительностью до 30 секунд.

Как добавить себе еще один кредит в HeyGen

В момент написания статьи вверху главной страницы сервиса было размещено приглашение послушать презентацию новой функции HeyGen – перевода видео с одного языка на другой. Мероприятие пройдет онлайн 14 сентября, а записавшимся на трансляцию устроители выдают по одному кредиту, который сразу же зачисляется на счет. К сожалению, в отличие от HeyGen, который без проблем доступен с российского IP, для регистрации на мероприятии используется сервис lu.ma, требующий VPN. Возможно, такие предложения будут появляться на сайте проекта и в будущем.

Как начать пользоваться HeyGen

Для того чтобы начать работать с AI-сервисом HeyGen нужно зайти на сайт проекта heygen.com и зарегистрироваться.

Регистрация происходит по электронной почте, куда будет отправлен проверочный код. В качестве альтернативы можно верифицироваться через учетные записи Google или Facebook*.

Если же кому-то хочется просто полюбопытствовать, то для этого в HeyGen есть «Режим гостя». Можно увидеть интерфейс сервиса и быстро ознакомиться с его работой. При этом гость не сможет создать свой ролик: при попытке сгенерировать видео, ему будет предложено залогиниться на платформе.

Какой видеоконтент создает HeyGen

Подписчикам HeyGen предлагается два основных варианта видеоконтента: аватары и видеоролики. Принцип их создания одинаков: загружается исходный материал (изображение или видео) с неким персонажем, к нему добавляется текст. Затем HeyGen генерирует итоговое видео, где герой произносит нужные слова нужным голосом с нужной интонацией.

Чтобы попробовать, как работает сервис, мы решили дать ему самое простое задание — сгенерировать «Говорящее фото» (TalkingPhoto), создать видео на основе статичного изображения человека. В качестве первопроходцев были выбраны космонавт Юрий Гагарин и актер Вячеслав Тихонов в роли Штирлица.

Как правильно выбрать изображение для HeyGen

При подборе статичных картинок нужно стараться выбирать такие, где персонаж смотрит прямо в камеру. В противном случае будет непонятно, с кем разговаривает герой. В нашем случае Гагарин говорит с кем-то в стороне, а вот Штирлиц обращается прямо к зрителям.

Сначала в HeyGen были загружены фотографии этих двух людей, найденные в интернете. После загрузки в разделе TalkingPhoto появились соответствующие проекты с превью изображений.

Следующий шаг – выбор желаемого соотношения сторон будущего видео, небольшая обработка исходного изображения и выбор голоса. Для доступа к этим функциям нужно навести курсор мыши в правый верхний угол проекта и, нажав на три точки, выбрать меню редактирования (Edit Avatar).

Вариантов работы с загруженной картинкой всего два: можно применить фильтр-бьютификатор «Суперразрешение» (Super Resolution), работающий очень грубо и превращающий будущего героя клипа в лощеную куклу, и удаление фона, с которым HeyGen справляется без проблем.

Штирлиц без фильтра
Штирлиц обработанный бьютификатором от HeyGen

Форматов изображения предлагается три: оригинальный (как у исходника), квадрат и круг.

Как выбрать голос для аватара HeyGen

Самое интересное в работе по редактированию аватара – выбор голоса героя. В HeyGen есть большой банк образцов голосов. 300 голосов доступны бесплатно, остальные разговаривают только для платных подписчиков сервиса. Список поддерживаемых языков невелик, но в нем есть русский. Также можно выбрать пол голоса, его возраст, манеру и стиль речи. Например, можно выбрать голос жизнерадостного старика, читающего рекламный текст.

Также в разделе работы с голосом можно создать собственный образец, которым будет говорить персонаж клипа. Для этого над фонотекой голосов нужно нажать на большую фиолетовую кнопку «Создать собственный голосовой клон» (Create your own Voice Clone). В всплывающем окне в первую очередь заказчику будут названы основные требования к голосу-клону: система понимает восемь языков (русского там нет), запись должна быть чистой и без фоновых шумов, а ее продолжительность от 2 до 10 минут. После этого автору клипа предлагается зачитать вслух дисклеймер, разрешающий использование его голоса платформой HeyGen. Затем нужно будет прочитать текст, состоящий из основных фонем, достаточный для генерирования искусственного голоса. В качестве альтернативы можно загрузить аудиофайл. Так что выбор голосов безграничен.

После завершения работы с аватаром нужно нажать на треугольник (кнопка Play) на превью проекта и перейти на его страницу.

Финальная часть создания клипа – что скажет его герой. В этом разделе в поле под изображением можно ввести нужный текст. Текст может быть и на русском языке, система распознает его и воспроизведет. К сожалению, русских образцов голосов в системе всего два: Дарья и Дмитрий. Также можно загрузить заранее записанный текст в виде аудиофайла.

Завершение работы с аватаром HeyGen

Исходный материал готов. Теперь нужно нажать на кнопку Submit и HeyGen начнет обработку материала. Время обработки, по всей видимости, зависит от загрузки серверов: ролик продолжительностью 7-8 секунд система обрабатывает от 10 секунд до двух минут.

После завершения пользователь попадает на страницу готового проекта. Где он может скачать полученный клип, поделиться им в соцсетях или, в случае если у него есть подписка, использовать расширенные сервисы HeyGen, например, включить субтитры или загрузить ролик в разрешении 4К.

HeyGen: впечатления

HeyGen – очень интересное решение для работы с видео. Интерфейс платформы прост и продуман. Система работает быстро.

К сожалению, AI-платформа не очень хорошо знакома с артикуляцией русской речи. Алгоритмы отталкиваются исключительно от аудиоряда. Поэтому полученный результат выглядит порой странно.

* продукт компании Meta (признана экстремистской организацией и запрещена в РФ)

Авторы:
Артемий Шохор
Редакция ADPASS
Главное про маркетинг и рекламу
в Telegram

Вам понравится

МАИД.РФ
29.11.2023
PR Russia
26.11.2023
Редакция ADPASS
14.11.2023
Редакция ADPASS
08.11.2023
Тейлор Кэш и Джонни Свифт: как мертвый кантри-певец стал дипфейк-звездой

Джонни Кэш — теперь популярный голос музыкальных дипфейков, они же фейкдрейки (по имени рэпера Дрейка). «Привидению» певца давали исполнять классику вроде «Дома восходящего солнца» и раньше. Но в этом году его репертуар заметно расширился: вирусным стал летний кавер «Barbie Girl» группы Aqua, а осенью залетел «Blank Space» Тейлор Свифт. Студии, исполнители, наследники и их юристы внимательно следят за выходом таких хитов и в любую минуту готовы обрушить на видеосервисы и технологические платформы волну исков. Первый уже пошел: Universal и другие крупные лейблы в октябре подали в суд на поддерживаемый Google и Amazon ИИ-стартап Anthropic за распространение текстов песен, защищенных авторским правом. YouTube тоже готовит свой ИИ-инструмент, который позволит блогерам записывать аудио с голосами известных исполнителей, и пытается договориться с правообладателями по сумме отчислений. Пока безрезультатно.