Отзывы и конверсия карточки товара: как измерить влияние и найти точки роста

Чтобы оценить влияние отзывов на конверсию карточки товара, одну и ту же воронку отслеживают во времени. Состояние отзывов фиксируют на начало периода, поведение покупателей измеряют позже, а цену, рекламу, наличие, сезонность и изменения контента учитывают отдельно. Такой анализ показывает, связаны ли количество, рейтинг и содержание отзывов с результатами сопоставимых карточек. Утверждать, что отзывы дали причинный эффект, можно только при исследовательском дизайне (схеме проведения исследования), который исключает другие объяснения.

Единицей анализа обычно служит строка «товар × день» или «товар × неделя». В ней объединяют показатели воронки, характеристики уже опубликованных отзывов и условия продажи. Аналитик сравнивает карточку с ней самой во времени или с максимально похожими товарами, после чего оценивает величину и неопределенность (степень неточности оценки) найденной связи.

Какую конверсию карточки товара измерять

Конверсия карточки товара — это доля пользователей или заказов, которые дошли до выбранного этапа воронки. Единого коэффициента для всей воронки нет: добавление в корзину, оформление заказа и выкуп отвечают на разные бизнес-вопросы.

Основную метрику выбирают до начала анализа. Остальные коэффициенты используют для диагностики: они показывают, на каком этапе появилась разница.

Конверсия из просмотра карточки в корзину

Формула коэффициента CRcart показывает, какая доля просмотров закончилась добавлением товара в корзину:

CRcart = добавления в корзину / просмотры карточки × 100%

Где:

• CRcart — конверсия из просмотра карточки в корзину;

• Добавления в корзину — число соответствующих действий за выбранный период;

• Просмотры карточки — знаменатель из того же отчета, периода и уровня агрегации (степени объединения данных);

• 100% — множитель для представления результата в процентах.

Метрика помогает проверить, как информация в карточке влияет на добавление товара в корзину. Например, из-за повторяющихся жалоб на размер, товар могут реже добавлять в корзину. При этом CRcart зависит от того, кто заходит на карточку. Например, реклама может привлечь больше холодной аудитории — пользователей, которые пока не собираются покупать товар. Тогда конверсия снизится, даже если отзывы не изменились.

Конверсия из просмотра карточки в заказ

Формула коэффициента CRorder связывает посещение карточки с оформленным заказом:

CRorder = заказы / просмотры карточки × 100%

Где:

• CRorder — конверсия из просмотра карточки в заказ;

• Заказы — число оформленных заказов за выбранный период;

• Просмотры карточки — число просмотров тех же товаров за те же даты;

• 100% — множитель для перевода доли в проценты.

Этот показатель учитывает больше решений покупателя, чем переход в корзину. На него влияют условия доставки, итоговая цена и доступность нужного варианта товара. Поэтому изменение CRorder нельзя автоматически приписывать отзывам.

Конверсия из заказа в выкуп

Формула коэффициента CRbuyout показывает долю заказанных единиц, которые покупатели выкупили:

CRbuyout = выкупы / заказы × 100%

Где:

• CRbuyout — конверсия из заказа в выкуп;

• Выкупы — число завершенных покупок из анализируемых заказов;

• Заказы — число заказов, для которых уже известен исход;

• 100% — множитель для представления доли в процентах.

Для этой метрики нужна когортная привязка (группировка по общему событию): выкуп сопоставляют с датой заказа. Если привязать выкуп к дате завершения операции, результат для свежих заказов окажется искусственно заниженным, поскольку часть покупателей еще не успела получить товар.

Как отличать проценты от процентных пунктов

Формула ΔCRrel показывает, насколько новая конверсия изменилась относительно исходного уровня:

ΔCRrel = (CRafter − CRbefore) / CRbefore × 100%

Где:

• ΔCRrel — относительное изменение конверсии;

• CRafter — конверсия после анализируемого события или в сравниваемой группе;

• CRbefore — исходная конверсия или показатель контрольной группы;

• 100% — множитель для перевода отношения в проценты.

Если конверсия выросла с 5% до 6%, абсолютная разница составляет 1 процентный пункт, относительное изменение — 20%. Оба значения описывают одну разницу с разных сторон, поэтому в отчете указывают исходные уровни, процентные пункты и относительное изменение.

Продажи, вероятность покупки, намерение купить и конверсия карточки — это разные результаты. При этом результаты исследований, в которых измеряли разные показатели, нельзя объединять или переносить на конкретную воронку продавца.

Какие данные нужны для оценки влияния отзывов

Минимальный датасет (набор данных для анализа) объединяет события воронки, состояние карточки, характеристики отзывов и условия продажи. Все поля привязывают к одному идентификатору товара и одному временному интервалу.

Для Wildberries исходные показатели можно собрать из нескольких официально описанных инструментов. «Аналитика карточки» содержит показатели воронки, переходов, добавлений в корзину, заказов и рейтинга. Отчет «Сравнение карточек» позволяет сопоставлять показы, CTR, переходы, конверсии, отзывы, рейтинг и продажи. Отчет «Оценка товара» помогает отслеживать динамику рейтинга и причины низких оценок.

Если площадка не отдает данные по части факторов, это ограничение указывают рядом с результатом. Например, без данных о позиции или источнике трафика найденную связь по-прежнему может объяснять изменение видимости карточки либо состава аудитории.

Как собрать временную панель без утечки будущих данных

Временная панель — это таблица, в которой один товар представлен в нескольких последовательных периодах. Она помогает отделить постоянные особенности товара от изменений во времени.

Когда использовать день, а когда неделю

Единица «товар × день» подходит для карточек с достаточным числом просмотров и частыми изменениями цены, рекламы или отзывов. Дневной шаг сохраняет порядок событий, но у товаров с низким трафиком создает много строк с нулевыми заказами.

Единица «товар × неделя» сглаживает случайные колебания и удобна при небольшом числе событий. При таком укрупнении теряется последовательность событий внутри недели. Отзыв, опубликованный в воскресенье, нельзя считать доступным покупателям с понедельника той же недели.

Интервал выбирают по двум критериям: в строке должно хватать событий для расчета метрики, а границы периода должны сохранять значимые изменения карточки. Для низкочастотных товаров иногда нужны более длинные окна или анализ на уровне заранее определенных сопоставимых групп.

Как задать лаг между отзывом и результатом

Временная схема связывает признаки и результат в следующем порядке:

состояние отзывов на начало периода → заранее заданный лаг → просмотры, добавления в корзину, заказы или выкупы после лага.

Лаг — промежуток между объясняющим событием и измеряемой реакцией. Для решения о добавлении товара в корзину можно проверить короткое окно. Выкуп требует более длинного окна, которое покрывает доставку и получение заказа.

Несколько окон реакции задают заранее, например соседние периоды разной длины. В итоговый отчет включают результаты по всем запланированным окнам. Если оставить только окно с самой большой разницей, случайное отклонение может выглядеть закономерностью.

Почему новый отзыв нельзя относить ко всему периоду

Отзыв, опубликованный в середине дня или недели, не мог повлиять на более ранние просмотры. Если присоединить итоговое состояние рейтинга ко всему периоду, признаки прошлого будут содержать будущую информацию. Из-за такой утечки наблюдаемая связь может усилиться, ослабнуть или изменить направление.

Когда точное время публикации неизвестно, безопаснее использовать состояние отзывов на конец предыдущего полного периода. Удаление отзыва и пересчет рейтинга также регистрируют как отдельные события с первой доступной датой.

Какие характеристики отзывов анализировать раздельно

Средний рейтинг скрывает разные ситуации. Одинаковый рейтинг может быть и у новой карточки с несколькими похожими оценками, и у давно продающегося товара с множеством разных оценок. Поэтому характеристики отзывов анализируют как отдельные признаки.

К основным характеристикам относятся:

• Количество. Накопленное число опубликованных отзывов на начало периода;

• Частота поступления. Число новых отзывов за фиксированное предыдущее окно, приведенное к одинаковой длительности;

• Средний рейтинг. Сводная оценка площадки либо среднее из доступных оценок с указанием способа расчета;

• Разброс оценок. Стандартное отклонение, межквартильный размах (разброс центральной половины значений) или доли отдельных звезд;

• Доля низких оценок. Доля отзывов с заранее определенным низким баллом среди отзывов за окно;

• Тональность. Доля позитивных, нейтральных и негативных текстов по одной стабильной модели классификации;

• Тематика. Доли отзывов с упоминаниями размера, качества, упаковки, доставки, цвета и других категорий, значимых для товара.

Метаанализ (объединенный анализ нескольких исследований) 26 эмпирических исследований и 443 оценок эластичности продаж (чувствительности продаж к изменениям) показал связь положительности и объема отзывов с продажами. Величина связи различалась между товарами, площадками и источниками мнения. В изученных работах оценивали продажи, а неоднородность нужно проверять на собственных данных. При этом переносить готовый коэффициент на конверсию карточки нельзя. Источник: Journal of Interactive Marketing.

Другой метаанализ характеристик онлайн-отзывов рассматривает количество и рейтинг, разброс оценок, полезность, длину и тональность текста. Авторы также указывают на роль товарной категории. Поэтому категории и параметры отзывов стоит анализировать раздельно.

Как проверить гипотезу насыщения

Универсального порога достаточного количества отзывов нет. Гипотезу насыщения проверяют внутри конкретной категории и ценового сегмента: при определенном числе отзывов их связь с целевой метрикой может начать ослабевать.

Для проверки количество отзывов делят на заранее заданные диапазоны или используют модель с плавной нелинейной зависимостью (связью без постоянной пропорции). Рядом с результатом показывают число товаров и наблюдений в каждом диапазоне. Если в верхнюю группу попали преимущественно давно опубликованные и популярные товары, разница может быть связана с возрастом карточек и спросом на них.

Почему простое сравнение карточек дает смещенный результат

Сравнение товаров с большим и малым числом отзывов показывает корреляцию — совместное изменение признаков. Однако оно не доказывает, что именно отзывы вызвали разницу в конверсии.

Как продажи порождают новые отзывы

Обратная причинность означает, что показатель, который считают результатом, сам влияет на объясняющий показатель. Чем больше заказов получает карточка, тем больше покупателей могут оставить отзыв. Популярный товар одновременно накапливает отзывы и сохраняет высокую конверсию из-за факторов, возникших раньше: узнаваемости бренда, выгодной цены, видимости в каталоге или стабильного наличия.

Лаг частично снижает эту проблему, поскольку прошлое состояние отзывов связывают с будущей конверсией. При этом товар может оставаться популярным, а другие показатели — меняться параллельно, поэтому одного лага для причинного вывода недостаточно.

Какие факторы имитируют эффект отзывов

Смешивающим называют фактор, который одновременно связан с отзывами и результатом. Например, рекламная кампания увеличивает заказы, после которых появляются новые отзывы. Если модель не учитывает рекламный трафик, часть эффекта рекламы может попасть в коэффициент количества отзывов.

Так же работают скидки, цена, остатки, позиция, сезонный спрос, доставка и изменения карточки. Новое главное изображение способно изменить конверсию одновременно с появлением отзывов. Дату правки нужно хранить в данных; при планировании визуальных изменений пригодится материал о том, как работает инфографика в карточке товара.

Почему новые и зрелые карточки анализируют отдельно

У новой карточки обычно мало истории, нестабильный трафик и быстро меняющийся контент. Зрелый товар успел накопить аудиторию, отзывы и позиции. Прямое сравнение этих групп смешивает характеристики отзывов со стадией жизненного цикла.

Карточки из разных категорий и ценовых сегментов тоже нужно анализировать отдельно. Покупатель оценивает риск и достаточность информации с учетом типа и стоимости товара, а показатели воронки могут заметно различаться.

Как отделить отзывы от цены, рекламы и сезонности

Контроль факторов начинается со сравнения товара с ним самим. Так можно учесть постоянные характеристики: бренд, базовую категорию, назначение и многие свойства продукта. Факторы, которые меняются со временем, все равно нужно явно учитывать в анализе.

Работать следует в такой последовательности:

1. Разделить новые и зрелые карточки, категории и ценовые сегменты;

2. Удалить или пометить периоды без наличия и строки с незавершенным окном выкупа;

3. Сравнить показатели одной карточки до и после изменения отзывов при одинаковом определении воронки;

4. Добавить цену, скидку, рекламный трафик, наличие, видимость, сезонность и изменения контента;

5. Проверить результат на нескольких заранее заданных лагах и сопоставимых подвыборках (отдельных частях выборки);

6. Показать диапазон оценки и перечислить факторы, для которых данных нет.

Сопоставимые карточки выбирают по категории, ценовому диапазону, возрасту, бренду или типу продавца, исходному трафику и конверсии до события. Показатели после появления отзыва для подбора не подходят: к этому моменту эти признаки уже могли измениться.

Когда нужны товарные и временные фиксированные эффекты

Фиксированные эффекты — компоненты модели, которые учитывают постоянные различия между товарами и общие изменения в каждом календарном периоде. Товарный эффект поглощает стабильные свойства карточки. Временной эффект учитывает события, которые одновременно затронули весь набор товаров, например общий всплеск сезонного спроса.

Модель оценивает, как меняется результат одной карточки вслед за отзывами по сравнению с общим фоном. Если одновременно с отзывами меняется фактор, которого нет в данных, анализ показывает только связь.

“Using various fixed effects and discontinuity-based empirical strategies, we estimate their causal impacts on sales.”

Imke Reimers и Joel Waldfogel, экономисты, авторы исследования в American Economic Review

Исследование Раймерс и Уолдфогеля опубликовано в июне 2021 года и посвящено рынку книг. Авторы применяли фиксированные эффекты и стратегии на основе разрывов, чтобы оценить влияние профессиональных рецензий и рейтингов Amazon на продажи. На примере этой работы можно посмотреть, как применять такие методы. По полученным численным результатам нельзя оценить конверсию произвольной карточки товара.

Как выбрать метод оценки под доступные данные

Насколько убедительным будет вывод, зависит от того, почему сравниваемые наблюдения различаются по характеристикам отзывов. Чем убедительнее источник различия и контроль параллельных изменений, тем меньше остается альтернативных объяснений.

Когда подходит difference-in-differences

Difference-in-differences, или метод разницы разниц, сопоставляет изменение результата в затронутой группе с изменением в контрольной. Событием может быть внешнее изменение отображения отзывов, которое затронуло часть сопоставимых товаров.

Главная предпосылка метода — параллельная динамика: до события группы должны двигаться сходным образом. Скидка, которая одновременно появилась только в затронутой группе, разрушает интерпретацию. График за несколько периодов до события помогает заметить расхождение, но не доказывает, что группы двигались параллельно.

Когда возможен regression discontinuity

Regression discontinuity, или анализ разрыва регрессии, применяют при четком пороге. Например, интерфейс может менять отображаемую категорию рейтинга после пересечения определенной границы. Тогда сравнивают карточки непосредственно по разные стороны порога.

Для метода нужны стабильное правило, достаточное число наблюдений около границы и отсутствие других изменений на том же пороге. Диапазоны, которые аналитик придумал только для группировки карточек, источника причинной идентификации (выявления именно причинного эффекта) не создают.

Когда возможен A/B-тест блока отзывов

В собственном интернет-магазине A/B-тест допустим, если бизнес управляет показом блока отзывов, случайно распределяет пользователей или сессии между вариантами, одинаково определяет конверсию и не меняет другие элементы. Схема распределения должна учитывать повторные визиты одного пользователя и возможное влияние вариантов друг на друга.

На маркетплейсе продавец обычно не управляет интерфейсом блока отзывов и распределением его показов, поэтому корректно провести такой A/B-тест он не может. Продавец может использовать панельный анализ, естественные изменения интерфейса площадки, сопоставимые карточки и тестировать части карточки, которыми действительно управляет.

Как проверить неопределенность результата

Точечная оценка дает одно расчетное значение. Доверительный интервал показывает, какой диапазон значений допускают данные и предпосылки выбранной модели. Если интервал широкий, возможные эффекты могут заметно различаться.

Число строк в панели не равно числу независимых наблюдений. Данные по одному товару за разные дни связаны: у карточки остаются те же бренд, аудитория, история и часть трафика. Кластеризация стандартных ошибок (поправка на связанность наблюдений) по товару учитывает эту зависимость при расчете неопределенности. Если товаров мало, обычные приближения могут работать плохо, поэтому способ расчета интервала выбирают с учетом структуры выборки.

Чтобы понять, достаточно ли данных, учитывают количество событий, изменения характеристик отзывов и число независимых товаров. Миллионы просмотров одной карточки не помогут оценить влияние рейтинга, если он ни разу не изменился за весь период.

Статистическая значимость показывает, насколько полученный результат согласуется с гипотезой об отсутствии связи в рамках выбранной модели.

Бизнес-значимость отвечает на практический вопрос: окупает ли возможное изменение затраты и риск. В большой выборке маленький эффект может оказаться статистически заметным и почти не повлиять на экономику товара.

Пример анализа: как цена и реклама меняют вывод

Расчет ниже выполнен на вымышленных данных и показывает, как работает смешение. Эти числа не служат рыночным ориентиром.

Аналитик сравнил две группы карточек. Группа с большим числом отзывов получила 20 000 просмотров и 1250 заказов: CRorder составила 6,25%. Группа с малым числом отзывов получила 20 000 просмотров и 990 заказов: CRorder составила 4,95%. Сырая разница (разница без поправок на факторы) равна 1,3 процентного пункта, относительная — примерно 26,3%.

Распределение трафика показало, что группы находились в разных коммерческих условиях:

В каждом режиме карточки с большим числом отзывов показывают конверсию на 0,2 процентного пункта ниже. Их общий показатель оказался выше, потому что три четверти просмотров пришлись на режим со скидкой и рекламой. Если стандартизировать (привести к одинаковым условиям) обе группы к равной доле режимов, расчетная конверсия составит 5,5% для группы с большим числом отзывов и 5,7% для группы с малым.

По учебным данным нельзя сделать вывод, что отзывы снижают конверсию. Карточки могут различаться по бренду, наличию вариантов, позиции и аудитории. Корректный вывод звучит так: положительная сырая связь исчезла после учета режима цены и источника трафика; стандартизированная оценка составила −0,2 процентного пункта. Отдельно нужно проверить неопределенность оценки и влияние остальных факторов.

Как превратить анализ отзывов в гипотезы роста

Рабочая гипотеза связывает конкретную характеристику отзывов, этап воронки и изменение, которое можно проверить. Аналитический сигнал в этом контексте — наблюдаемое сочетание показателей, которому еще предстоит найти объяснение.

Если тема повторяется в отзывах, можно выдвинуть гипотезу об изменении описания, фотографии или самого товара. Перед правкой визуальных материалов нужно зафиксировать текущую версию контента; при подготовке новой версии пригодится руководство о том, как подготовить изображение для карточки товара.

Если эксперимент недоступен, в выводе описывают только связь: «рост доли отзывов с темой упаковки связан со снижением выкупа в таком-то сегменте при учете доступных факторов». Рядом указывают диапазон оценки, определение метрики, лаг и неконтролируемые переменные. Чтобы использовать формулировки «отзывы обеспечили рост» и «негатив вызвал падение», нужен более надежный оценочный метод.

Заключение

Оценке можно доверять, если состояние отзывов и результаты привязаны к правильным периодам, изменения карточки учтены, а все этапы воронки рассчитаны по сопоставимым данным. Даже заметная разница между группами показывает лишь связь, а не влияние отзывов: ее могут вызвать цена, реклама, наличие товара, сезонность или его исходная популярность.

Наблюдательный анализ показывает возможную силу связи и помогает сформулировать гипотезу для проверки. Чтобы установить причинный эффект, нужен контролируемый эксперимент или квазиэксперимент — исследование без случайного распределения, в котором влияние других факторов исключают при обоснованных условиях.