«Синтетических респондентов нельзя превращать в инструмент по производству «серости»
За что «хвалят» ИИ-респондентов?
Современные претесты на людях часто превращаются в «машину по производству безопасной серости», считает Виктор Донюков, совладелец креативного агентства GREAT и сооснователь Ai-платформы Fair Lab:
На практике это выглядит так: на фокус-группу выносят два-три концепта, один смелый и креативный, другой «гладкий» и привычный. Смелый концепт собирает неоднородные оценки — часть аудитории в восторге, часть раздражена. «Гладкий» собирает ровное «нормально, понятно». Дальше смотрят на средний балл и выбирают «безопасный» вариант, так как у него выше средняя оценка и нет «красных зон». В итоге все «острое» отсеивается, а тесты превращаются в машину по производству безопасной серости, которая заполняет рекламный эфир
Виктор ДонюковСовладелец креативного агентства GREAT и сооснователь Ai-платформы Fair Lab
«Противоядие» такому сценарию, по мнению Виктора Донюкова — проведение исследования на раннем этапе отбора гипотез как способ «поймать» инсайт, проверить считываемость идеи, отсечь явные коммуникационные ошибки. В этом могут быть полезны те самые «синтетики» — цифровые копии реальных представителей целевой аудитории. Они позволяют быстро проверить «сырые» идеи и увидеть, какой сегмент аудитории на что реагирует:
Хорошая синтетическая модель показывает не ровное среднее, а разброс реакций по сегментам: одну и ту же идею один сегмент «любит», другой «ненавидит». На живой фокус-группе эта поляризация чаще всего схлопывается в усредненное «нормально». В этом смысле синтетика иногда честнее показывает, способна ли идея вызвать эмоцию
Виктор ДонюковСовладелец креативного агентства GREAT и сооснователь Ai-платформы Fair Lab
Преимущество «синтетиков» перед фокус-группами отмечает также Антон Мельников, партнер и креативный директор emg:
На фокус-группах дискуссию в той или иной степени направляет модератор, а выводы часто формируются под влиянием отдельных участников или текущего контекста исследования. Это неизбежно создает риски субъективности и снижает предсказательную ценность результатов. В этом смысле виртуальные респонденты — всегда независимые судьи
Антон МельниковПартнер и креативный директор emg
ИИ-респонденты полезны, если нужно быстро проверить гипотезы или получить «незамыленный» взгляд, соглашается Мария Петрова, руководитель направления аналитики и данных группы компаний «Родная Речь». Однако «это больше вспомогательная функция, нежели полноценная замена исследованиям с участием реальных людей».
Какие ограничения есть у синтетических респондентов? Как использовать их во благо, а не во вред?
ИИ-респонденты обучаются на исторических данных исследований и уже существующих закономерностях. Отсюда возникает ряд проблем. Во-первых, инструмент плохо работает на быстро меняющемся контексте (отношение к конкретному селебрити, реакция на свежий инфоповод). Во-вторых, ИИ-респондент не может оценить что-то физически: например, музыкальный джингл. В-третьих, «синтетика» легко можно обучить выбирать «безопасный» креатив, как это делают реальные люди в классических исследованиях.
В этом случае он будет выбирать ту же серость, только быстрее. Поэтому в любом случае финальное решение в пользу потенциально лучшего креатива должно оставаться за бренд-командой
Виктор ДонюковПартнер и креативный директор emg
Этот тезис поддерживает директор по стратегическому планированию BBDO Анастасия Продувнова. Практика показывает: сильный креатив не столько соответствует ожиданиям аудитории, сколько способен их менять.
Чем более нестандартной и эмоционально насыщенной является идея, тем осторожнее стоит относиться к прогнозам, основанным исключительно на синтетических моделях
Анастасия ПродувноваДиректор по стратегическому планированию BBDO
Впрочем, это касается и реальных респондентов, которым сложно представить будущий эмоциональный эффект рекламы, когда на тест выносится сценарий, раскадровка или концепт, а не готовое произведение, отмечает Продувнова.
Еще один фактор, который требует внимания при работе с синтетиками — необходимость контролировать качество и актуальность исходных массивов, на которых обучаются ИИ-респонденты.
Со временем информация, на которой были построены профили синтетиков, может устаревать, плюс, она может наследовать различные смещения и ошибки из реальных данных. Еще один “подводный камень”, — риск “коллапса знаний”, когда синтетических респондентов обновляют преимущественно на основе уже сгенерированных данных, а не свежих ответов реальных людей.Поскольку к синтетическим данным нельзя напрямую применять классическую ошибку выборки, точность и валидность результатов оценивают через регулярное сопоставление с исследованиями на реальных людях. Также важно проверять, насколько устойчивыми остаются выводы при изменении настроек и обновлении версии моделей
Екатерина ЛысковаКреативный стратег Soda × D Innovate group
Важно не воспринимать синтетических респондентов как буквальную замену живой выборке, добавляет Антон Титов, директор направления “Данные и инновации” в ORO:
Это не независимые люди, а моделирование вероятных реакций с помощью ИИ. Поэтому «300 цифровых респондентов» не равны по смыслу опросу 300 потребителей, а полученные проценты нельзя автоматически трактовать как прогноз долей в генеральной совокупности
Антон ТитовДиректор направления “Данные и инновации” в ORO
С этим согласен директор по стратегии РА “Восход” Дмитрий Доник:
Синтетические респонденты не идентичны реальным: у последних есть свой уникальный бэкграунд, суждения, которые не могут быть полностью “скопированы” и воспроизведены в цифровой личности. Поэтому исследования с помощью ИИ-аудитории — скорее инструмент самопроверки. Если комбинировать его с “живым” исследованием, то с грамотно организованным количественным опросом, а не с фокус-группой. В противном случае получится “гремучая смесь”, способная привести к ошибочным выводам
Дмитрий ДоникДиректор по стратегии РА “Восход”
Гибридный подход
Наиболее результативно — использовать сильные стороны как реальных, так и синтетических респондентов, когда это оправдано, считают эксперты. В обоих случаях необходим профессиональный подход на всех этапах: от постановки задач до интерпретации результатов и их использования на практике. Иначе ситуация на рынке претестов не изменится к лучшему.
Другие статьи
