Респонденты Mozilla отправляли на YouTube разные реакции на видео — «не нравится», «не интересно», «не рекомендую канал», «удалить из истории».
Из образовавшегося массива исследователями было сформировано 44 тыс. пар видео — одно отклоненное и одно рекомендованное. После чего они сами или с помощью машинного обучения оценивали, была ли рекомендация слишком похожа на видео, которое пользователь отклонил.
Полученные результаты говорят не в пользу YouTube. Если кнопки «не рекомендовать видео с этого канала» и «удалить из истории просмотра» предотвратили 43% и 29% нежелательных рекомендаций, то реакции «не нравится» и «не интересует» — всего 12% и 11% соответственно.
Почти 40% участников исследования отметили, что использование функций YouTube не оказало сильного влияния на рекомендации. Только 27,6% пользователей могли с уверенностью сказать, что их рекомендации изменились. Четверть отметила, что результат был смешанным: в большинстве случаев нежелательные видео все равно оказывались в рекомендациях. В целом рекомендации YouTube вызывают у пользователей чувство, что у них нет над ними контроля.
На основании всего этого исследователи сделали вывод, что алгоритм, который отвечает за рекомендации, неэффективен. Пожелания пользователей не влияют на его работу должным образом. С их точки зрения платформе нужны перемены. Возможности контроля рекомендаций должны быть более понятными, и пользователь должен иметь больше влияния на них. Mozilla также настаивает на том, чтобы YouTube предоставлял доступ к данным для исследователей и чтобы его методы работы были более прозрачными.
«Мы узнали, что многие люди используют метод проб и ошибок, чтобы контролировать свои рекомендации, но мало преуспевают в этом. Механизмы контроля пользователей YouTube неадекватны для предотвращения нежелательных рекомендаций», — подытоживается в исследовании Mozilla Foundation.
В Google уже отреагировали на исследование, указав, что в нем не учитывается, как именно устроены элементы пользовательских реакций YouTube.
Представитель YouTube Елена Эрнандес заявила The Verge, что нежелательные видео не исчезают из рекомендаций намеренно. Таким образом платформа защищает пользователей от попадания в информационный пузырь. Исследование Mozilla не учитывает, как работает эта система: кнопка «Не интересует» убирает только конкретное видео, а «Не рекомендовать этот канал» убирает только конкретный канал.
Компания заявляет, что не стремится прекратить рекомендации всего контента, связанного с темой, мнением или спикером.
Исследователь Mozilla Бекка Рикс отмечает, что не всегда ясно, что на самом деле делают различные элементы управления, а платформы крайне неохотно раскрывают публике принципы работы своих алгоритмов. «Платформа может настроить, какие из этих сигналов имеют наибольший вес в ее алгоритме, но наше исследование показывает, что отзывы пользователей не всегда могут быть самыми важными», — сказала Рикс.
На своем сайте Mozilla Foundation опубликовала петицию, чтобы сподвигнуть YouTube исправить выявленные ей проблемы и дать пользователю контроль над рекомендациями.