По ту сторону алгоритма: как СберМаркетинг посадил нейросеть в кресло жюри

Цифровой аватар детально анализировал конкурсные заявки в категории «Digital» наравне с ведущими экспертами рынка, формировал развернутые вердикты и даже вышел на сцену вместе с Ксенией Собчак для награждения победителей.

Задача

Перед командой СберМаркетинга стояла задача по интеграции ИИ в одну из самых субъективных и значимых зон рекламного рынка — профессиональную оценку маркетинговых и креативных работ на 27-ом сезоне ведущей премии в сфере марктеинга и рекламы Silver Mercury.

Необходимо было создать независимого ИИ-агента, способного глубоко разбирать механику кейсов. Проект требовал погружения в контекст блока «Digital», который представляет собой наиболее оцифрованную, но одновременно самую динамично меняющуюся часть рекламной индустрии. ИИ должен был научиться видеть прямую связь между рыночным вызовом, стратегией, креативом и измеримыми бизнес-результатами, говоря с экспертами на одном профессиональном языке и выявляя решения, создавшие реальную ценность для роста брендов.

Идея

В основу проекта легла идея создания полноценного цифрового аватара, на основе глубокой языковой модели и адаптирован под строгие судейские правила и регламенты. Технологическим и визуальным воплощением ИИ-судьи стал образ «Михаила» — молодого Михаила Симонова, президента Silver Mercury и одного из главных символов премии, что обеспечило проекту сильный визуальный и смысловой якорь.

Главный вызов заключался в преодолении угодливости больших языковых моделей, которые обычно стремятся соглашаться с собеседником, завышают оценки и избегают резких суждений. Чтобы убрать у аватара эту особенность, нейросети задали роль опытного, прямолинейного и беспристрастного члена жюри, который ориентирован на четкую доказательность, где подтвержденные бизнес-метрики всегда стоят выше медийных показателей.

Впервые в практике российских премий мы интегрировали в систему судейства ИИ-жюри в статусе эксперта без права голоса. Этот проект стал важным этапом в развитии индустриальных конкурсов — появлением независимого технологического эксперта, который дополняет оценку жюри и помогает сделать ее более объективной.

Михаил Симонов, президент Silver Mercury

Механика

В основу работы ИИ-жюри лег массив из 755 заявок Серебряного Меркурия 2025 года, которые были детально оценены 184 топ-судьями. Из данных команда вывела ровно 2 104 точки отбора, которые стали шкалой качества по каждому из критериев во всех 12 дисциплинарных блоках. Выведенные точки отбора стали эквивалентом примерно 12 000 человеко-часов сложнейшей экспертной работы, если бы такую шкалу собирали вручную.

Чтобы цифровой голос ИИ-жюри звучал естественно и профессионально, алгоритмы дополнительно изучили десятки экспертных комментариев и около пяти часов аудиозаписей живых дискуссий жюри.

Архитектура аватара включила четыре слоя системы поверх базовой языковой модели:

• официальный регламент премии;

• манеру речи опытного эксперта;

• жесткие программные ограничения;

• эталонные примеры оценок от топ-судей с высоким уровнем корреляции.

Оценка кейсов велась по результатам предыдущего сезона премии, в котором было проанализировано около 8 800 экспертных оценок для выявления реальных паттернов использования шкалы от 1 до 10. Процесс работы ИИ-судьи строился по строгому протоколу, который начинался с автоматического разбора номинации и подтягивания баллов. Затем запускался обязательный принцип оценки, где модель сначала формулировала критику и фиксировала слабости кейса, и только потом выставляла балл от одного до десяти с обязательными ссылками на факты из текста.

На этапе контроля качества цифровой жюри принудительно снижал оценку при отсутствии конкретных цифр в результатах и полностью исключал выбор безопасной середины, когда оценки группируются в зоне от 4 до 6 баллов. Финальная взвешенная сумма баллов автоматически переводилась в соответствующую медаль или статус в шорт-листе, после чего формировался текст речи и видео аватара.

Результаты

Проект завершился успехом во время судейства блока Digital. ИИ-судья проанализировал работы в четырех ключевых номинациях: «Лучшая цифровая кампания», «Лучшая цифровая платформа», «Лучшее использование ИИ» и «Лучшее использование данных».

ИИ-жюри продемонстрировал точные результаты: в сложных и наиболее изменчивых цифровых категориях оценки ИИ статистически совпали с оценко й топового живого жюри с точностью более 80%.

Мы не планируем ограничивать использование нашего ИИ-жюри только фестивальными рамками. В обозримом будущем ИИ-судья станет доступным рабочим инструментом для наших клиентов. Пропуская свои проекты через этот алгоритм, компании смогут предварительно тестировать заявки, получать независимую строгую оценку и на практике учиться собирать
сильные, аргументированные и выигрышные кейсы.

Анна Тупикина, директор по маркетингу, исследованиям и клиентскому опыту СберМаркетинга

Финалом проекта стало очное участие цифрового аватара в торжественной церемонии награждения, где он на глазах у всей индустрии объявил победителя в номинации за «Лучшее креативное использование ИИ».

В 27-м сезоне мы усилили блок Digital: обновили состав жюри, добавили новые номинации и повысили вес в рейтинге АКАР. Поэтому появление ИИ-судьи в роли независимого эксперта стало логичным продолжением развития конкурса. Главный результат эксперимента заключается в том, что даже в сложных номинациях Digital — одной из самых динамично развивающихся областей рекламного рынка — оценки ИИ оказались близки к решениям экспертов.

Альберт Усманов, председатель блока Digital на Silver Mercury