Как мы сделали платформу A/B тестов для стриминга START

Рубрика «Эксперименты».

A/B или сплит-тесты помогают проверить, как изменения в работе или дизайне сервиса влияют на пользователя и влияют ли вообще. Например, цвет кнопки: при тесте часть пользователей будет видеть, например, красную кнопку вместо привычной зеленой. Для тестирования отбираются небольшие группы пользователей с заданными характеристиками. Это помогает просчитать, приживутся ли изменения. Ведь чем сложнее и старше продукт, тем аккуратнее стоит быть с новшествами, чтобы не потерять аудиторию и деньги.

Evrone разработал такой сервис для онлайн-кинотеатра START. Он связан с сервисом, который собирает необходимые данные о пользователях и имеет удобный интерфейс, где аналитики могут сами задавать параметры, делать группы, начинать и заканчивать эксперименты в заданное время. Вот несколько коротких фактов о проекте:

Сервис умеет отслеживать пересечения экспериментов, когда они нацелены на одну группу пользователей или проверяют одни и те же параметры. Это важно учитывать при анализе результатов.
Есть функция увеличения выборки в рамках одного эксперимента. Это нужно для успешных гипотез, которые показали позитивные результаты на малых группах. Так можно распространить позитивный опыт на всех пользователей сервиса.
Изначально планировалась простая статическая админка, когда страница обновляется после каждого изменения. Но из-за огромного количества параметров экспериментов пришлось разработать более сложную динамическую версию. Она сделана на React.
Бэкенд проекта написан на Python, использован веб-фреймворк FastAPI. Для работы с базой и управления данными выбрали стандартный набор из SQLAlchemy и PostgreSQL.

Подробнее о том, как реализованы все возможности, и как сервис работает изнутри, можно прочитать в кейсе у нас на сайте.

#IT и инновации #Контент #Стриминговые сервисы #Сервисы

Нравится: Evrone

Evrone
еще 166 публикаций

Лучшее в блогах

18.04.2024

Объявлены победители Седьмого сезона «НПБК.Эффективность»

10 часов назад

CMS или конструктор? Инструменты для работы сайта

12 часов назад

Конкурс цифровых коммуникаций «МИКС РОССИЯ» объявляет о начале нового сезона

Вчера

Как написать «продающие» тексты для сайта B2B-компании: 14 советов маркетологам

Вам понравится

КОМРЕДА

19.04.2024

Как b2b-компании привести лидов с одной статьи

Маркетинг Контент

Перевели и адаптировали статью Рози Кэмпбелл для агентства контент-маркетинга Beam. Это первая из двух частей.

Phygital Signage

18.04.2024

Sber + Phygital — самый доступный Digital Signage

Digital IT и инновации

Ваш телевизор может больше, чем просто транслировать сериалы и новости. Он может стать мощным инструментом продаж и коммуникации с клиентами. В статье расскажем о нашем сотрудничестве со SberDevices, в рамках которого мы сделали Digital Signage доступным для каждого.

Иностудио

01.04.2024

Как подготовить ТЗ для тендера на разработку ПО

IT и инновации

Правильно составленное ТЗ на разработку ПО делает взаимодействие между заказчиком и исполнителем прозрачным, помогает быстрее найти подходящего подрядчика. Документ сразу сообщает о целях сотрудничества и помогает составить представление о проекте до начала работы.