«Человек должен оценивать то, что он в состоянии оценить»
Грамотные алгоритмы тестирования креативных концепций или сценариев роликов до запуска в эфир готовых версий решают важнейшие задачи: во-первых, оценивают потенциал идей, во-вторых, позволяют выявить ошибки в коммуникациях. Но есть и противоположные примеры, когда пре-тесты, проведенные или интерпретированные некорректно, губят нестандартные креативные решения, подтверждает генеральный директор research-платформы Fastuna Павел Щеголев. Комитет креативных агентств АКАР пообщался с экспертом, чтобы выяснить, какие принципы нужно соблюдать при тестировании креатива.
Если тестировать, то как?
Крупные бренды, у которых исследования поставлены на поток, разрабатывают свои протоколы тестирования. Они имеют общую логику и структуру, но различаются в деталях — с учетом специфики бизнеса, отмечает Павел Щеголев, за плечами которого — опыт работы в Coca-Cola, WBD, Эльдорадо:
«На старте важно сформулировать задачи тестирования. Мы хотим оценить идею, выбрать коммуникационное направление, обезопасить себя от неправильного толкования смыслов?».
Постановка задачи диктует, «что» выносится на тест: отдельные элементы (сообщение, визуальные образы, персонажи), концепт или готовый ролик. Степень готовности тестируемых определяет объект исследования. Например, если речь идет о концепте в формате бордоматика или аниматика, то респондентов просят оценить идею или сюжет, а не качество исполнения.
Какой формат опросов подходит для пре-теста? Для оценки потенциала креатива необходимо провести количественное исследование. Качественные методы (фокус-группы, глубинные интервью) используются для других, «поисковых» задач. Они ни в коем случае не могут выносить вердикт креативу «казнить или помиловать».
«Они могут быть полезны на этапе подготовки креативной работы для определения инсайтов/направлений, не более того…», — отметил Павел Щеголев.
По его словам, для количественного же опроса важно выбрать диагностические метрики в привязке к конкретным задачам кампании:
«Человек должен оценивать то, что он в состоянии оценить: нравится ему это или нет (и почему), считает ли он этот сюжет уникальным, хочет ли он купить или попробовать рекламируемый продукт. Все эти критерии должны быть связаны с задачами кампании (будь то стимулирование к целевому действию, формирование знания о продукте, донесение позиционирования и т.д.)»
Ценно, когда в основе анкет для пре-тестов на платформе лежит модель оценки покупательского поведения аудитории AISAS (Attention — внимание, Interest — интерес, Search — поиск, Action — действие, Share — желание поделиться) и связанные с ней метрики: привлекательность, желание узнать больше, намерение купить или воспользоваться, желание поделиться с другими (информацией или самим продуктом). Дополнительные показатели — понятность и уникальность. Иногда список метрик расширяют. Например, проверяется brand fit (соответствие бренду) или считываемость ключевых сообщений — в зависимости от задач ролика.
Размер выборки в количественном опросе для пре-теста составляет 100-200 человек. По словам Павла Щеголева, он признан эмпирически достаточным для оценки и принятия решений. Такое количество респондентов дает результаты с точностью оценок 90%. Надежность результатов обеспечивает структура выборки — она должна быть репрезентативной для целевой аудитории:
«Этого достаточно, чтобы определить уровень перспективности идеи. Нам не нужны большие выборки, так как нет задачи предсказать долю продаж, например. Наша задача — уточнить вероятность успеха или выбрать концепцию, где вероятность успеха выше».
Крупные корпорации очень скрупулезно тестируют свои креативы на разных этапах готовности материала. Их практика показывает: продакшен вносит свои коррективы, поэтому оценки бордоматика или аниматика могут не совпадать с результатами теста готового ролика. Пример из опыта Coca-Cola. Целевая аудитория бренда — очень широкое понятие. Поэтому «принятие» рекламы всеми возрастными группами — важное требование. В начале 2000-х компания тестировала один из концептов для рекламы Sprite («А кто ты? Жажда подскажет»). На этапах бордоматика и аниматика концепт получил хорошие оценки, был запущен продакшен. Готовый ролик тоже отправили на тест — и он неожиданно «провалился». Стали разбираться, в чем дело. Оказалось, что респондентам старшего возраста (один из сегментов аудитории — родители школьников) не понравилось выражение лица «преподавателя» — по их мнению, этот персонаж был показан в неуважительном образе. В итоге в ролике изменили одну секунду хронометража. Снова протестировали — оценки «исправились» в лучшую сторону, и ролик выпустили в эфир.
В крупных компаниях механика пре-тестов отработана годами и постоянно «шлифуется». Накапливаются и анализируются данные о том, как результаты кампаний соотносятся с первоначальной оценкой их потенциала на тестах. Поэтому такие бренды верят в пре-тесты, но и организуют их правильно — не в ущерб креативу. Недаром их кейсы побеждают на рекламных фестивалях мирового уровня.
Синтетические vs «реальные» респонденты
Новое веяние исследовательского рынка — так называемые синтетические респонденты, созданные с помощью ИИ. Если говорить об использовании «синтетиков» в пре-тестах, то стабильных и достоверных результатов такие эксперименты пока не дают.
«С точки зрения количественных исследований, когда мы хотим понять, что лучше доносит стратегически важную для бренда мысль и принять решение — нужно опрашивать реальных людей. Особенно это важно в динамически развивающемся контексте. В некоторых ситуациях это архиважно — например, когда мы используем эндорсеров (сторонников), селебрити, отношение к которым может резко измениться», — отметил Павел Щеголев.
Попытка симулировать вариативность реакций людей с разным профилем понятна. Но доверять оценку креатива «цифровым личностям» явно рано. Эффективнее — грамотно организовать пре-тест с участием реальных респондентов. Такие исследования, если они обоснованы и имеют четкую цель, только улучшат рекламный видео- и ТВ-контент, считает гендиректор Fastuna, а то, что сейчас происходит в эфире, доказывает, что «большинство роликов точно никогда не тестировались».
