Как предварительное тестирование креативов стало «бедой» российского рекламного рынка

Как все начиналось

Конец 50-х — начало 60-х годов, США — отправная точка в истории тестирования креативов для рекламы на ТВ. Именно американские коллеги придумали исследования под названием copytesting. Рекламный эфир на американском телевидении в этот период был «захвачен» узким кругом брендов. Каждый из них мог быть единственным спонсором телешоу и пачками выпускать минутные ролики для одного и того же продукта (так делал, например, P&G — благодаря которому еще в 30-х появились знаменитые «мыльные оперы»). Этому способствовала относительно небольшая стоимость производства — порядка $10 тыс. за ролик

Но ситуация стала меняться. Конкуренция и бюджеты росли, рекламодатели склонялись к тому, чтобы выпускать роликов «меньше, но лучше». Исследовательская компания Gallup & Robinson первой увидела перспективную нишу: почему бы не предложить рекламодателям тестировать ролики для ТВ, чтобы выявлять наиболее эффективные?

Просмотр «подопытных» роликов был организован в исследовательском центре G&R. Респондентам показывали реальную ТВ-программу с рекламными блоками, куда были включены тестируемые ролики. Затем участников опрашивали (запомнили ли рекламу, бренд, и т.д.) и фиксировали результаты.

Оценку проводили и в прямом в эфире. On-air тесты были ограничены по времени и количеству регионов для трансляции. Разные версии роликов могли одновременно показывать в разных штатах, чтобы затем сравнить их показатели. Ролики — чемпионы тестов — попадали в эфир национального вещания. Какие метрики брали в расчет? Сначала исследователи возвели в абсолют запоминаемость (recall), затем на первый план вышла убедительность рекламы (persuasiveness). Также стали измерять связь с брендом (brand linkage), понимание сообщения (message take-out), «нравится» ли реклама респондентам (likeability) и т.д.

К началу 80-х крупные рекламодатели начали тестировать «сырой» материал (раскадровки, аниматики), надеясь оценить потенциал креатива до продакшена. Рынок копитестинга рос — услугу предлагали порядка 50 компаний. В 1981 году американские рекламодатели потратили на пре-тесты $53 млн, протестировав 9 тыс. роликов. Но уже тогда случился первый «кризис доверия» к пре-тестам. Рекламодатели и агентства сомневались в надежности измерений, прозрачности результатов и обоснованности выводов.

Поэтому в 1982 году индустрия сформулировала PACT (Positioning Advertising Copy Testing) — принципы копитестинга. В их создании участвовало 21 ведущее рекламное агентство США при поддержке ARF (Advertising Research Foundation). В PACT говорится о том, что измерения не могут быть универсальными, и тест должен соотноситься с целями тестируемой рекламы — тем, что заложено в брифе. В список принципов вошли репрезентативность выборки, надежность и валидность измерений, одинаковая степень готовности «тестовых» материалов, максимально реалистичные условия тестирования. Также документ подчеркивал, что пре-тесты можно использовать скорее как инструмент диагностики, а не однозначной и окончательной оценки, и их прогностическую ценность завышать не стоит.

Как появление PACT повлияло на рынок? Развивались диагностические методы с измерением внимания (attention), понимания сообщения (comprehension), актуальности (relevance), правдоподобия (credibility), связи с брендом (brand linkage). Исследователи стали искать способы измерить эмоциональный отклик аудитории на рекламу. В 1990-е был популярен dial testing, когда респондент оценивает материал прямо во время просмотра, поворачивая специальный регулятор, тем самым отмечая положительную или негативную реакцию на увиденное. Позднее попытались фиксировать отклик с помощью замеров активности мозга, анализа мимики (face coding) и направления взгляда (eye-tracking).

Предварительные тесты теряли статус «оракула». Они использовались как вспомогательный инструмент для диагностики и «донастройки» креатива: считывается ли идея, нет ли «опасных» ассоциаций. Нередко работы, которые показывали «плохой» результат на пре-тестах, все равно выходили в эфир. И становились культовыми. Например, ролики Guinness «Серфер», «Dreamer» и «Гонка улиток». Они были предварительно протестированы с помощью системы Link Test от Millward Brown, но показали невысокие результаты. В частности, в ролике «Серфер» сообщение, по данным теста, «не передавалось достаточно четко». Для большей ясности в начало ролика был добавлен закадровый голос. В 2000 году зрители Channel 4 признали его лучшим рекламным роликом всех времен.

Видеоролик «Серфер» / Guinness

ㅤ

В 2005 году основатель исследовательской компании Ameritest Чарльз Янг задавался вопросом: почему несмотря на эволюцию и все большее «научное обоснование» копитестинга, он остается источником разочарований? «Дело в преувеличенных обещаниях и чрезмерном упрощении сложного предмета — вопроса о том, как бесконечное множество и разнообразие ТВ-роликов «проникают» в мозг человека, чтобы влиять на его поведение. Когда задумываешься об этом, ракетостроение кажется чем-то более простым», — отмечал он.

Сегодня в США тоже нет полного доверия к пре-тестам. В прошлом году в сети разразился спор по поводу эффективности исследований компании System1, которая заявила о «самом предсказательном тесте рекламы в мире». Суть метода — измерение «реальных человеческих эмоций для прогнозирования продаж и роста».

System1 упрекнули в том, что в своих тестах она измеряет 8 чувств, 5 из которых — негативные, одно — нейтральное и только два — относятся к позитивным. «Это ограниченный инструмент, который покупает уверенность. Он не доказывает эффективность, а говорит лишь о ряде эмоциональных реакций в странно ограниченном масштабе — с тенденцией к крайне негативным оттенкам», «Если какой-нибудь уважающий себя маркетолог всерьез верит, что телевизионный пре-тест на выборке из 150 человек (из которых около 50, скорее всего, боты или не вовлеченные респонденты) способен предсказать долю рынка, ему стоит немедленно уйти в отставку», — отреагировали американские рекламисты.

Как пре-тестинг завоевал Россию

В России исследовательский рынок возник вместе с рекламным — в начале 1990-х. Поначалу ни у кого не было и мысли тестировать ТВ-рекламу. Ситуацию изменили западные бренды, которые стали активно заполнять рекламное пространство своими продуктами. Появилась задача адаптировать западные коммуникации к российскому рынку. Любимым инструментом исследователей стали фокус-группы, на которые приглашались представители клиента. Для них это было отчасти развлечение, «шоу» — посмотреть через стекло, как респонденты реагируют на их рекламу. Формирование доверия к пре-тестам было важной частью внедрения их в маркетинговые процессы. В первое время качественные измерения не имели конкретных метрик и нацелены были, главным образом, на избежание грубых ошибок в коммуникациях.

В середине 2000-х в РФ стали появляться стандартизированные тесты. Одним из пионеров в этом деле была компания ARMI (часть сети Millward Brown). Методика Millward Brown предлагала конкретные метрики и возможность сравнить результаты тестов с бенчмарками из мирового опыта исследований.

Во второй половине 2010-х подход к тестам изменился: развивались онлайн-методики, увеличилась доля исследований in-house, появились  DIY-инструменты (Do-It-Yourself) — автоматизированные программные решения и платформы — с готовыми решениями для исследований «на скорую руку». Идеология quick-and-dirty («дешево и сердито») стала доминировать на рынке. Быстро получить некие оценки, не задумываясь, насколько они отражают реальную картину, стало почти нормой. 

Сегодня на тест выносятся «черновики» будущих рекламных роликов — от синопсисов до аниматиков. При всем желании они не складываются в готовое произведение «в голове» у респондента. Злую шутку с рекламодателем может сыграть и склонность людей выбирать нечто стандартное, усредненное, уже знакомое по телевизионному эфиру. В итоге побеждает «креатив», который могут спасти, разве что, огромные медиавеса. 

Почему здравые принципы, которые были озвучены больше 40 лет назад, оказались забытыми в нашей стране? Мы сами загнали себя в ловушку бесцельных тестов, где респонденты, не имеющие нужных компетенций и воображения, рассуждают о «симпатичности» рисованных персонажей, об уникальности сюжета, об эффективности коммуникаций и т.д. Возможно, пора обратиться к первоисточнику — тому самому PACT? Вспомнить принцип — соответствие теста целям рекламы. Или с опорой на тот же PACT сформировать свои принципы, которые помогут рынку выйти из замкнутого круга методологически ошибочных тестов и как следствие — однотипной безвкусицы в рекламном эфире.