• Просто о сложном

Генерация картинки по референсу

Привет, это Настя, руководитель отдела контента ИИ-сервиса Aigital. Мы создаем инструменты на основе нейросетей, чтобы пользователи и корпоративные команды могли легко и быстро решать маркетинговые и бизнес-задачи. Здесь мы делимся разборами наших навыков и ИИ-ассистентов.

С навыком «В стиле референса» можно решать множество прикладных задач: от генерации обложек для YouTube-видео в едином стиле до создания изображений для сайта компании или соцсетей. Он учитывает стиль, цветовую палитру и композицию предложенного изображения при генерации. Помимо этого навык учитывает и то, что указано в текстовом промпте.

Например, в поле «Референс» вы добавляете картинку — обложку с любого YouTube-видео, которая вам нравится по стилистике и цветовой палитре. В текстовом поле указываете, что вам нужна обложка для Youtube-видео с рецептом приготовления шашлыков для кулинарного блога. В результате вы получаете картинку с шашлыками, подходящую по тематике для вашего блога, а по стилистике, палитре и композиции похожую на изображение, что вы добавляли в качестве референса.

Под капотом навык работает следующим образом:

1. На первом этапе ИИ анализирует референс — GPT-4o подробно описывает картинку с разных сторон, прорабатывает её стилистику.

2. В параллель с этим другая нода GPT-4o берет текстовый запрос пользователя и переводит его на английский.

3. На следующем шаге GPT формирует объемный промпт, объединяя описание референса и текстовый запрос пользователя. Веса в нем расставлены так, чтобы нейронка понимала, на что следует обратить больше внимания, а на что меньше.

4. Этот текстовый промпт отправляется в Fooocus.

5. Fooocus умеет работать с входящими изображениями, поэтому вместе с текстовым промптом приходит и картинка-референс. Получается двойной удар по задаче — и со стороны текстового описания референса, и визуально — с ориентиром на само исходное изображение.

6. Fooocus сохраняет не только цветовую палитру, но и пропорции картинки-референса. Это особенно удобно, если требуется определенный размер изображения.

Далее обученная нами модель улучшает черты лица на картинке и передает ее пользователю.

Мы решили поэкспериментировать и сгенерировать стол со стульями на основе скрина нашего лендинга. Нейронка сохранила пропорции, забрала темно-серый на фон, а зеленый и белый в акценты.

А если вам интересно читать о мире нейросетей, идеях и жизни проекта, подписывайтесь на наш телеграм-канал.

3

Нравится: Aigital

Aigital
еще 26 публикаций

Лучшее в блогах

24.09.2024

57 компаний стали победителями Первого регионального фестиваля рекламы

5 часов назад

Как увеличить продажи в b2b? 6 простых шагов геройской стратегии

6 часов назад

Что такое ИТ-аутсорсинг и когда он нужен бизнесу

10 часов назад

Разгадывая тайны HR и рекламы: неделя инноваций и вдохновения в Екатеринбурге

Вам понравится

ООО «Акме»

10 часов назад

Эксперты прогнозируют рост рынка отечественного ПО

Digital IT и инновации

Российский рынок программного обеспечения показывает стабильный рост. В 2023 году его объём увеличился на 15%, достигнув более 1,3 трлн рублей. Ожидается, что эта тенденция сохранится, и ежегодный рост на уровне до 15% продлится до 2028 года.

Креативная студия SMIT.

23.09.2024

Кампания «Миллионный участник MEGA Friends»: открытие нового маркетингового канала

Digital Ритейл

Как привлечь 43 тыс. уникальных пользователей через чат-бот на базе Telegram — в кейсе.

webit

18.09.2024

SEO-сопровождение переезда сайта с одного домена второго уровня на другой домен

Digital Маркетинг

Переезд сайта с одного домена второго уровня на другой — это серьезный шаг, который может повлиять на видимость сайта и трафик из поисковых систем. При смене домена у сайта меняются URL-адреса всех страниц. Для поисковых систем это означает, что все ссылки на сайте становятся новыми, теряя накопленные данные и возраст, если не произвести необходимые настройки.

ООО ТТ ГРУПП

30.08.2024

Искусственный интеллект в туризме или новая реальность

IT и инновации Маркетинг

ИИ уже активно используется в различных аспектах туристической индустрии, включая планирование путешествий, бронирование отелей, рекомендации по маршрутам и даже персонализацию услуг для клиентов.