AB-тестирование: как правильно проверять гипотезы продукта
A/B-тестирование позволяет проверить маркетинговые гипотезы и повысить продажи. Разбираемся, как правильно пользоваться этим аналитическим инструментом и какие бизнес-задачи он помогает решать.
Если простыми словами, то это сравнение двух вариантов одного продукта — контрольной версии (А) и измененной (В). Этот метод маркетингового исследования проводится при разработке дизайна интерфейсов, мобильных приложений, рекламных баннеров и т.д. Его активно используют в работе продакт-аналитики, веб-разработчики, интернет-маркетологи.
А/В-тестирование предполагает разделение аудитории на две группы: одной демонстрируют старый вариант продукта, второй — новый. После анализируют данные о поведении обеих групп и сравнивают их. В результате А/Б теста выясняется — какое именно изменение нужно внести в работу продукта, чтобы повысить его эффективность и привлекательность для потребителя.
Когда и кому нужны АБ-тесты
A/B-тесты позволяют определить реальные потребности аудитории, проанализировать поведение пользователей и получить объективное мнение о качестве внесенных в продукт изменений. А/Б тестирование проводят разного рода специалисты:
Продакт-менеджеры — чтобы протестировать изменения ценовых моделей, оптимизировать часть воронки продаж для роста конверсии.
Маркетологи — для теста контента, изображений, кнопок призыва к действию СТА и любых других конверсионных элементов.
Продуктовые дизайнеры — для проверки дизайнерских решений (например, цвет кнопки СТА), тестирования новых функций перед внедрением.
Виды A/B-тестирования
Простой A/B-тест (сплит-тест)
Здесь сравниваются два варианта анализируемого продукта (контрольный и тестовый). При этом различие только в одном параметре, например — синяя или красная кнопка призыва к действию СТА. Простой А/Б тест используется, когда нужно оценить эффективность точечных изменений.
Многовариантное тестирование
Для сравнения берут два варианта нескольких элементов — в результате получаются различные комбинации. Например, можно одновременно протестировать кнопку СТА, блок с характеристиками товара и отзывами, логотип. Многовариантные А/Б тесты более сложные. Они позволяют проанализировать воздействие на аудиторию сочетаний элементов, а не каждого по отдельности.
A/B/n-тест
При таком тестировании одновременно оцениваются один или несколько вариантов исследуемого объекта. Например, лендинг с кнопкой СТА в форме прямоугольника, круга, треугольника и трапеции. A/B/n-тестирование позволяет выбрать наилучшее по конверсии решение из нескольких предложенных вариантов.
Логотип, фирменные цвета и другие элементы брендбука.
Дизайн интерфейса, верстка веб-страницы.
Цена товара, скидки и акции, программы лояльности.
Уникальное торговое предложение.
Фотографии товаров и т.д.
Как проводить А/В тестирование
Шаг 1. Поставить цель
Цель А/В теста должна отвечать основной цели компании. Это может быть увеличение объема трафика, рост продаж, снижение отказов и т.д. Не стоит тратить время и ресурсы на проверку гипотез, которые не согласуются с глобальными задачами бизнеса.
Шаг 2. Выбрать метрику
Метрики для A/B теста — это ключевые показатели эффективности бизнеса: объем продаж, выручка, количество заказов, посещаемость сайтов, конверсия, число отказов и др. Рекомендуем выбирать одну метрику для одного теста, поскольку эффективность и точность тестирования заметно снизится, если в рамках одного эксперимента отслеживать сразу несколько показателей.
Шаг 3. Определиться с гипотезами
Гипотеза должна быть в таком формате: «если что-то, то что-то». Например, «если заменить синие кнопки СТА на красные, то конверсия посадочной страницы увеличится на 5%».
Чтобы правильно оценить результаты, необходимо выделить 2 гипотезы:
Внесенные изменения не дадут результатов, конверсия не изменится.
Благодаря изменению цвета кнопки конверсия повысится на 5%.
При положительном результате (когда конверсия повышается) необходимо масштабировать изменения на всю аудиторию. При негативном правки отменяем и ищем дальше способы повышения метрики, чтобы опять их протестировать.
Шаг 4. Провести эксперимент
Создайте новую версию с изменениями, которые вы планируете внести и протестировать.
Выделите контрольную и экспериментальную группы испытуемых (они должны быть одинаковыми по количеству человек). Отберите их по типам пользователей, платформе, географии.
Сделайте так, чтобы пользователи просматривали версии A и B в хаотичном порядке. Шансы увидеть ту или другую версию будут равны.
Определите минимальный размер выборки. Чем больше он будет, тем лучше.
Установите временные рамки. Чаще всего на тестирование уходит 1–2 недели.
Запустите тестирование и ждите результатов. Не останавливайте эксперимент до установленного срока.
Шаг 5. Проанализировать результаты
В конце тестирования вы получите данные, которые необходимо проанализировать и принять решение: внести изменения или откатить все к первоначальной версии.
Инструменты для проведения A/B-тестирования
Для эффективных сплит-тестов необходима большая выборка аудитории. Часто участники эксперимента из контрольной и тестовой групп находятся в разных городах/регионах, поэтому без онлайн-сервисов не обойтись.
Google Optimize
Сервис от Google Marketing Platform. Позволяет тестировать элементы страниц: заголовки, шрифты, кнопки СТА, формы заявки, контент и т. д. Сервис интегрируется с Google Analytics, Firebase, Google AdWords. Есть бесплатная версия.
Optimizely
Популярный платный сервис с индивидуальной стоимостью услуг. Отличается высокой гибкостью и удобством в работе, но не интегрируется с продуктами Google.
VisualWebsite Optimizer
Платный онлайн-сервис. Стоимость зависит от пакета услуг — диапазон цен от 99 до 999 $/мес. Здесь можно настроить более 15 параметров для более глубокого тестирования. Сервис интегрируется с Google Analytics, но импортировать цели нельзя. Можно тестировать работу платформы бесплатно в течение 30 дней.
ABTasty
Англоязычный сервис с широким функционалом, простым интерфейсом, гибкой настройкой. Интегрируется с сервисами Google для таргетинга, позволяет обмениваться сообщениями. AB Tasty предлагает несколько пакетов услуг — от $39 за 5 000 пользователей до $390 за 200 000 в месяц.
Основные ошибки при проведении тестов
Одновременная проверка двух гипотез/элементов
Один тест — одна гипотеза. Тестировать сразу несколько элементов с целью сэкономить время и деньги — плохая идея. В этом случае невозможно отследить, какое изменение повлияло на метрики. Первая гипотеза может показать отрицательный результат, а другие — положительный, поэтому выводы будут некорректными.
Последовательное тестирование
Не используйте его для ниш с сезонными товарами, поскольку при этом невозможно оценить результат теста. Например, магазин продает снегоходы, и вы решили тестировать новый дизайн лендинга зимой. В январе вы показываете экспериментальным группам вариант А, в феврале — вариант В. Даже если показатели в феврале были низкими, это не значит, что дизайн плох. Просто в конце зимы спрос на снегоходы падает.
Недостаточное количество данных
Нельзя останавливать эксперимент раньше назначенного времени. Из-за спешки можно получить ошибочные результаты и в будущем потерять сотни клиентов. Не жалейте времени на тестирование.
Заключение
А/Б тестирование — эффективный инструмент для проверки новых идей и гипотез. На основе результатов тестов можно принять взвешенное решение о дальнейших действиях по изменению продукта. Однако нужно учитывать, что тесты не всегда успешны. Более 50% тестов заканчиваются тем, что специалисты отказываются от внесения предложенных правок. воспринимайте АБ тестирование как полезный опыт, который помогает лучше понять потребности и поведение клиентов.
Просто о сложном
Неделя рекламы 
Новости 
Кейсы 
How to 
Интервью и дискуссии 
Маркетинговые исследования 
Энциклопедия обмана 
Проверено ADPASS 
Рекламные кампании