Brand Lift: что это такое и как измерить влияние рекламы на бренд

Brand Lift, или Brand Lift Study (BLS), — это исследование инкрементального влияния рекламы на знание и восприятие бренда. Эффект определяют по разнице между ответами сопоставимых экспериментальной и контрольной групп: первой назначают показ рекламы, второй исследуемую рекламу не показывают.

Такое сравнение показывает, как реклама повлияла на брендовую метрику: результат группы, которой показали рекламу, сопоставляют с результатом похожей группы без показа. Клики, показы и просмотры на этот вопрос не отвечают. Опрос после размещения тоже не отделяет действие рекламы от сезонности, активности конкурентов и исходного знания бренда.

Что измеряет Brand Lift

Brand Lift оценивает показатели, которые описывают знание и восприятие бренда после рекламного воздействия. Google относит к ним запоминаемость рекламы, узнаваемость бренда и готовность к покупке. Яндекс также указывает предпочтение, рассмотрение продукта и намерение совершить покупку (справка Google Ads, материал Яндекса о Brand Lift).

Как выбрать основную метрику

Основную метрику связывают с гипотезой кампании и фиксируют до запуска. Для нового бренда целью может стать знание. Кампанию о преимуществах известного продукта уместнее оценивать по рассмотрению или предпочтению. Если креатив должен закрепить сообщение, подойдет запоминаемость рекламы.

Выбор показателя после получения отчета создает риск удобной интерпретации. Среди нескольких результатов можно случайно найти положительное отклонение и выдать его за подтверждение гипотезы. Дополнительные метрики допустимы, когда их роль в анализе определена заранее.

Чем Brand Lift отличается от замера после кампании

Узнаваемость после размещения описывает состояние аудитории в момент опроса. На показатель влияют прежнее знание бренда, PR, рекомендации, действия конкурентов и другие факторы вместе с рекламой. Сравнение результатов до и после кампании также захватывает рыночные изменения, которые произошли в тот же период.

Контрольная группа задает контрфактический сценарий — состояние сопоставимой аудитории без исследуемого показа. При корректном дизайне разница между группами оценивает инкрементальный эффект рекламы.

Как работают экспериментальная и контрольная группы

Участников распределяют между экспериментальной и контрольной группами. Экспериментальной группе назначают показ рекламы, контрольную оставляют без исследуемого воздействия. Затем обе группы получают одинаковый вопрос, а исследователь сравнивает доли положительных ответов. Такой принцип описывает документация Display & Video 360.

Для причинного вывода группы должны быть сопоставимы до показа. Если в экспериментальной группе изначально больше лояльных покупателей или людей, знакомых с брендом, различие в ответах могло существовать до кампании. Рандомизированное распределение снижает этот риск, хотя технические ошибки, внешние контакты и недостатки опроса по-прежнему могут повлиять на результат.

“We estimate the causal effect of ads using randomized experiments.”

Rachel Fan, Tim Hesterberg, Ying Liu и Lu Zhang, исследователи Google Research — Methods for Measuring Brand Lift of Online Ads

Как Яндекс Директ формирует контрольную группу

В исследованиях Яндекс Директа контрольную группу формируют через виртуальный аукцион. В нее входят пользователи, которые соответствуют настройкам кампании и могли получить показ: объявление выигрывает аукцион, после чего система отменяет его демонстрацию. Экспериментальная группа видит рекламу, контрольная получает виртуальный показ без фактической демонстрации.

Такой механизм сближает условия отбора в рекламном аукционе. Случайная выборка среди всех пользователей, которые не видели рекламу, может отличаться по таргетингам, доступности инвентаря и вероятности получить показ.

Назначенный и фактический контакт

Распределение в экспериментальную группу еще не означает полноценного контакта. Пользователь мог не заметить объявление или не досмотреть видео, а одним устройством могли пользоваться несколько человек. Участник контрольной группы, в свою очередь, мог встретить рекламу бренда в другом канале или кампании.

Google Research рассматривает расхождение между назначенным и фактическим воздействием, смещение привлечения к опросу и смещение ответов (Methods for Measuring Brand Lift of Online Ads). В отчете важно проверить, что именно оценивает методология: назначение показа, подтвержденный контакт или другое правило, по которому платформа считает контакт с рекламой состоявшимся.

Как провести Brand Lift-исследование

Исследование проводят по следующей схеме:

1. Сформулировать гипотезу. Указать ожидаемое изменение брендового показателя, аудиторию и рекламное воздействие;

2. Выбрать основную метрику. Зафиксировать вопрос, варианты ответа и правило положительного ответа;

3. Спланировать точность. Оценить базовую долю положительных ответов, минимально обнаружимый эффект, требуемую мощность и объем выборки;

4. Сформировать группы. Распределить аудиторию так, чтобы группы были сопоставимы до воздействия;

5. Провести кампанию. Назначить рекламу экспериментальной группе и ограничить ее попадание в контрольную;

6. Провести одинаковый опрос. Сохранить формулировку, язык, порядок вариантов и окно измерения для обеих групп;

7. Рассчитать lift и неопределенность. Сопоставить доли положительных ответов, доверительный интервал и статистический статус;

8. Принять решение по заданному плану. Отделить подтвержденный результат от гипотез о креативе, аудитории и медиамиксе.

Что зафиксировать до запуска

До начала кампании в плане исследования указывают:

• Гипотезу и одну основную брендовую метрику;

• Целевую аудиторию и единицу распределения по группам;

• Формулировку вопроса, язык и варианты ответа;

• Условие положительного ответа;

• Окно рекламного воздействия и момент опроса;

• Ожидаемый базовый уровень метрики;

• Минимально обнаружимый эффект и требуемую статистическую мощность;

• Плановый объем ответов и правила остановки;

• Внешние кампании, способные загрязнить контроль;

• Метод расчета lift, интервала и статистического статуса;

• Правила анализа дополнительных метрик и сегментов.

Встроенное, панельное или самостоятельное исследование

Как рассчитать абсолютный и относительный Brand Lift

Для расчета нужна доля положительных ответов в каждой группе. В исследовании узнаваемости положительным ответом может быть правильный выбор бренда. Для намерения совершить покупку правило зависит от шкалы и вариантов ответа, поэтому его определяют заранее.

Формула абсолютного прироста

Формула показывает разницу между долями положительных ответов:

Абсолютный lift = доля положительных ответов экспериментальной группы − доля положительных ответов контрольной группы.

Где:

• Абсолютный lift — прирост брендовой метрики в процентных пунктах;

• Доля положительных ответов экспериментальной группы — доля респондентов с положительным ответом среди пользователей, которым назначили рекламное воздействие;

• Доля положительных ответов контрольной группы — доля респондентов с положительным ответом среди пользователей без исследуемого рекламного воздействия.

Результат выражают в процентных пунктах. Такой расчет абсолютного прироста приводит справка Google Ads.

Формула относительного прироста

Формула сопоставляет разницу с уровнем контрольной группы:

Относительный lift = (доля экспериментальной группы − доля контрольной группы) / доля контрольной группы × 100%.

Где:

• Относительный lift — прирост брендовой метрики относительно контрольного уровня, выраженный в процентах;

• Доля экспериментальной группы — доля положительных ответов в экспериментальной группе;

• Доля контрольной группы — доля положительных ответов в контрольной группе и базовый уровень расчета;

• 100% — множитель, который переводит отношение в проценты.

Учебный пример расчета Brand Lift

• Расчет условный и не относится к реальной рекламной кампании. Допустим, положительно ответили 30% респондентов экспериментальной группы и 25% контрольной. Абсолютный lift рассчитывают так:

• 30% − 25% = 5 процентных пунктов.

Где:

• 30% — доля положительных ответов в экспериментальной группе;

• 25% — доля положительных ответов в контрольной группе;

• 5 процентных пунктов — абсолютный lift.

Для тех же исходных данных относительный lift считают по следующей формуле:

(30% − 25%) / 25% × 100% = 20%.

Где:

• 30% — доля положительных ответов в экспериментальной группе;

• 25% в числителе — доля положительных ответов в контрольной группе;

• 25% в знаменателе — базовый уровень контрольной группы;

• 100% — множитель, который переводит отношение в проценты;

• 20% — относительный lift.

Абсолютное изменение составило 5 процентных пунктов. Относительно контрольного уровня метрика выросла на 20%. Сам расчет еще не показывает, устойчиво ли различие и можно ли отделить его от выборочного шума.

Как спланировать точность Brand Lift

Доля ответов в выборке служит оценкой показателя всей исследуемой аудитории. При одном истинном уровне метрики две случайные выборки способны дать разные значения. Поэтому отчет должен учитывать неопределенность, а дизайн — обеспечивать обнаружение эффекта, который имеет деловой смысл.

Как связаны базовый уровень, MDE и размер выборки

Минимально обнаружимый эффект, или MDE, — наименьший прирост, который исследование должно выявлять при заданных статистических условиях. Для обнаружения меньшего эффекта обычно требуется больше ответов. На объем выборки также влияют базовая доля положительных ответов, распределение аудитории между группами и статистический метод.

Статистическая мощность — вероятность обнаружить эффект заданного размера, когда он существует. Расчет мощности и выборки для lift-экспериментов, в том числе с несколькими экспериментальными ячейками, разбирает научная работа о дизайне incrementality-экспериментов.

MDE и мощность задают до запуска. Если выбрать приемлемую точность после просмотра отчета, критерии можно подстроить под данные, и заявленная надежность перестанет служить независимой проверкой гипотезы.

Что показывает доверительный интервал

Доверительный интервал отражает диапазон значений, совместимых с данными при выбранном способе расчета. Узкий интервал дает более точную оценку lift. Широкий допускает заметно различающиеся эффекты.

Знак точечной оценки сам по себе не определяет статистический статус. Положительный lift при широком интервале может оставаться неопределенным. С накоплением ответов оценка обычно становится точнее; Display & Video 360 предупреждает, что результат до завершения сбора может быть предварительным (справка платформы).

Требуемый объем выборки рассчитывают для конкретной метрики, базового уровня, MDE, мощности, распределения групп и метода анализа.

Как интерпретировать результат Brand Lift

Статус «рост не зафиксирован» не доказывает нулевой эффект. При широком интервале данные могут допускать небольшое положительное или отрицательное изменение. Корректный вывод зависит от диапазона значений, которые исключает полученная оценка.

Точно оцененный малый lift может не оправдать стоимость размещения. Потенциально ценный эффект при слабой мощности требует исследования большего масштаба.

Что может исказить Brand Lift

Формулировка вопроса и момент опроса

Формулировка и устройство анкеты могут систематически менять ответы: сравнительное исследование Google Research обнаружило опросные смещения у разных поставщиков выборок (A Comparison of Questionnaire Biases Across Sample Providers). Вопрос, язык, порядок вариантов, способ показа и окно измерения должны совпадать для обеих групп. При нескольких опросах исследователь учитывает влияние предыдущих вопросов на последующие ответы.

Узкий таргетинг и неоднородная аудитория

Узкий сегмент ограничивает число доступных респондентов и может помешать достичь требуемой точности. В неоднородной аудитории эффект способен различаться между подгруппами, хотя общий показатель скроет часть различий. Дробление небольшой выборки на множество сегментов после сбора данных расширяет интервалы и увеличивает число проверяемых гипотез.

Если кампания охватывает несколько аудиторий, креативов и размещений, общий Brand Lift оценивает их совместное воздействие в заданном дизайне. Приписать прирост одному элементу без отдельного распределения нельзя.

Внешняя реклама и загрязнение групп

Контрольная группа может встретить бренд на телевидении, в наружной рекламе, в других digital-кампаниях или органическом контенте. Такие контакты сокращают различие в воздействии между группами и усложняют интерпретацию. До запуска стоит составить карту параллельных размещений и определить, какие контакты удастся исключить, измерить или учесть как ограничение.

Загрязнение возникает и на уровне идентификаторов. Один человек может использовать несколько устройств, браузеров или рекламных ID, а идентификатор способен меняться со временем. Из-за этого разные идентификаторы одного потребителя могут попасть в обе группы. Такое ограничение рандомизированных рекламных измерений описывает работа о контрфактической оценке инкрементальности в DSP (Counterfactual-based Incrementality Measurement in a Digital Ad-Buying Platform).

Смещение привлечения и ответов

Согласившиеся пройти опрос могут отличаться от пользователей, которые его пропустили. Вероятность ответа также способна зависеть от рекламного контакта. Google Research учитывает смещение привлечения к опросу и смещение ответов при оценке причинного эффекта рекламы (Methods for Measuring Brand Lift of Online Ads).

Для диагностики исследователь сравнивает доступные характеристики ответивших в двух группах, проверяет единый способ приглашения и анализирует долю отклика. Корректировки зависят от методологии и не устраняют недостатки экспериментального дизайна.

Как сравнивать исследования и принимать решения

Два значения lift сопоставимы при близком дизайне. Перед сравнением кампаний, периодов или платформ проверяют:

• Одинаковую брендовую метрику и правило положительного ответа;

• Формулировку вопроса, язык и порядок вариантов;

• Состав и исходные характеристики аудитории;

• Способ формирования экспериментальной и контрольной групп;

• Форматы, частоту и окно рекламного воздействия;

• Момент и продолжительность опроса;

• Метод расчета абсолютного и относительного lift;

• Подход к доверительным интервалам и статистическому решению;

• Внешние рекламные контакты и качество идентификации пользователей.

Одинаковый итоговый процент не делает исследования эквивалентными при разных условиях. Особенно осторожно следует сопоставлять отчеты разных платформ: системы могут по-разному определять доступную аудиторию, собирать ответы и представлять неопределенность.

Обнаруженный рост показывает, что исследуемое воздействие изменило выбранную метрику в пределах охваченной аудитории и периода. Результат может дать гипотезы о заметности креатива, работе сообщения в сегменте или сочетании каналов. Причинный вывод о конкретном элементе требует эксперимента, где между сопоставимыми группами различается только этот элемент.

Чем Brand Lift отличается от Sales Lift и Search Lift

Brand Lift оценивает изменение знания и восприятия бренда по ответам аудитории. Sales Lift измеряет инкрементальное изменение покупок или продаж. Search Lift показывает прирост поисковых запросов, связанных с брендом. Яндекс Директ предлагает Brand Lift и Search Lift как отдельные исследования для разных типов результатов (документация Яндекс Директа).

Рост намерения купить в Brand Lift не означает роста продаж: намерение фиксирует ответ респондента, продажа — наблюдаемое действие. Увеличение брендовых запросов описывает поисковое поведение и не равно росту узнаваемости или предпочтения.

Заключение

Достоверность Brand Lift зависит от сопоставимости групп, заранее выбранной метрики и достаточной точности исследования. Величину прироста оценивают вместе с доверительным интервалом и ограничениями дизайна. Вывод об отдельном креативе, сегменте или канале допустим только в эксперименте, где между группами меняется один исследуемый фактор.