Людей в интернете всё меньше. Их место заняли боты
Интернет меняется на глазах: вместо людей сайты всё чаще посещают боты. Каждое пятидесятое посещение сегодня совершается ИИ-агентом. Для издателей это означает расходы без отдачи. ИИ-браузеры маскируются под Chrome, решают капчу и выглядят как обычные пользователи. Но реальные клики падают, а число обращений к бот-пейволам выросло на 360% за квартал. Измерить масштаб ИИ-трафика, разобрать поведение ботов и определить риски для отрасли решила компания TollBit, предоставляющая услуги управления доступом ИИ-ботов к онлайн-контенту.
Как проводилось исследование
Чтобы измерить поведение AI-сервисов, TollBit создал тестовый сайт с кодом, меняющимся каждую секунду. ChatGPT, Gemini, Claude и Perplexity получали задания найти этот код. Если ответ ИИ-сервиса совпадал с актуальным значением — фиксировался реальный визит. Если код был устаревшим — значит использовался кэш. Эксперименты повторялись сотни раз с разных аккаунтов, а данные сверялись с логами серверов. Так удалось определить длительность хранения кэша, особенности его использования и частоту реальных обращений к источнику.
Рост «невидимых посетителей»
Если в начале года лишь каждый двухсотый визит на сайт приходился на ИИ-бота, то к концу второго квартала уже каждый пятидесятый. При этом число реальных визитов снизилось на 9,4%, а активность ИИ-систем выросла в четыре раза. Совокупный объем запросов от ботов превысил трафик Bing — второго по величине поисковика мира.
Особенность в том, что новые ИИ-браузеры вроде Perplexity Comet или OpenAI Agent Mode выглядят как обычные пользователи. Они маскируются под Chrome, загружают страницы и даже решают капчу (капча — текстовый или графический ключ для верификации бот/человек). В логах сайтов такой трафик не отличим от человеческого, но монетизировать его нельзя.
Экономика контента под давлением
Для издателей это двойной удар. С одной стороны, растут расходы на обслуживание: увеличивается нагрузка на CDN (Content Delivery Network — сети хранения и доставки контента), хотя новых посетителей не прибавляется. С другой — снижаются рефералы. За год доля переходов из Google сократилась с 90% до 84,1%, а отдача от каждого визита упала: 100 заходов Googlebot теперь приносят лишь 312 кликов вместо 454 годом ранее.
ИИ-сервисы почти не возвращают аудиторию обратно. В среднем они обеспечивают только 0,1% всех внешних переходов. Для одного реального визита требуется до 135 запросов к сайту — соотношение, губительное для экономики контента.Эти цифры означают, что традиционная рекламная модель оказывается под угрозой. Показы баннеров и видеороликов перестают работать, если значительная часть посетителей — боты. Подписная модель тоже страдает: искусственный агент может прочитать материал и пересказать его пользователю, минуя paywall. В итоге издатель несет расходы, а выручка падает.
Где боты активнее всего
Больше всего ИИ-системы обращаются к контенту в сегментах B2B и профессиональных сервисов, спорта, родительства, технологий и здоровья.
Родительские сайты показали рост ИИ-запросов на +333% за квартал.
Разделы скидок и шопинга — +111%.
Новостные сайты получают в пять раз больше запросов от RAG-ботов, чем от обучающих краулеров, что подчеркивает потребность ИИ в свежей информации.
RAG-боты (Retrieval-Augmented Generation — извлечение и усиленная генерация) — это ИИ-сервисы, которые во время ответа ищут свежую информацию в интернете и вставляют её в результат. В отличие от обучающих краулеров, они работают в реальном времени и поэтому чаще обращаются к новостным сайтам.
Реакция издателей
Чтобы защитить материалы, сайты массово усиливают фильтрацию. За год число блокировок выросло почти в четыре раза, а обращения к бот-пейволам (специальным платным шлюзам) — на 360% за квартал.
Но у этой гонки есть обратная сторона: 13,26% ботов игнорируют robots.txt, хотя ещё в конце 2024 года таких было лишь 3,3%. Среди нарушителей — OpenAI, Meta*, ByteDance и другие крупные игроки. Это подталкивает издателей к более жёстким мерам: от сотрудничества с кибербезопасностными компаниями до юридических требований о соблюдении цифровых прав.
Как ИИ-сервисы хранят контент
Кэширование собранных данных стало новым фактором риска. ChatGPT хранит данные около 30 минут, Gemini — 15 минут (отдельно для каждого аккаунта), а Claude может неделями выдавать один и тот же результат.
На первый взгляд это снижает нагрузку на сайты. Но есть три проблемы:
Невидимость спроса — издатель не видит реального числа обращений.
Устаревание — пользователи получают неактуальные данные.
Потеря доходов — без новых визитов нет показов рекламы и подписок.
Таким образом, длительное кэширование превращает сайт в бесплатный «сырьевой источник» для ИИ-сервисов, а издатели теряют возможность зарабатывать на собственном контенте.
Реферальный трафик
Вклад ИИ-сервисов в реальные визиты остаётся минимальным: 0,102% всех переходов. Для сравнения — Google даёт в сотни раз больше. Даже при интенсивном использовании контента ИИ-ботами это редко оборачивается кликами.
Выводы очевидны: издатели несут расходы на обслуживание ботов, но не получают пропорциональной отдачи.
TollBit — американская технологическая компания, которая разрабатывает решения для управления доступом ИИ-ботов к контенту. Ключевой продукт — Bot Paywall, система, позволяющая издателям контролировать частоту и объём запросов от искусственных агентов, а также переводить их на платную основу. Компания ведёт мониторинг активности ИИ-сервисов, анализирует их поведение (маскировку, кэширование, соблюдение правил robots.txt) и предоставляет медиаиндустрии данные о том, как искусственный интеллект использует материалы сайтов.
* признана экстремистской организацией и запрещена в РФ
Новости
Неделя рекламы 
Кейсы 
How to 
Интервью и дискуссии 
Маркетинговые исследования 
Просто о сложном 
Энциклопедия обмана 
Проверено ADPASS 
Рекламные кампании