ИИ-ответы Google врут миллионы раз в час

Google обрабатывает более 5 трлн поисковых запросов в год, и все чаще отвечает на них не ссылками, а готовыми текстами, сгенерированными ИИ. Исследование, проведенное по заказу The New York Times стартапом Oumi, показало: система точна в 91% случаев. Оставшиеся 9% — это десятки миллионов ошибочных ответов каждый час.

Десятки миллионов ошибок в час

В 2024 году Google начал размещать ИИ-ответы (AI Overviews) на самом верху страницы поисковой выдачи, фактически превратившись из агрегатора ссылок в издателя. Oumi протестировал их точность на 4 326 запросах с помощью теста SimpleQA — стандартного отраслевого инструмента для оценки ИИ-систем. Исследование проводилось в два этапа: в октябре, когда ответы генерировала большая языковая модель Gemini 2, точность составила 85%. В феврале, после перехода на более мощную Gemini 3, она выросла до 91%.

Цифра выглядит неплохо, пока не сопоставить ее с масштабом Google. При 5 трлн запросов в год 9% ошибок — это сотни тысяч неточностей каждую минуту, подсчитали в Oumi. Сам Google признает проблему: по собственным тестам компании, Gemini 3 без поисковой подстраховки выдает некорректную информацию в 28% случаев. Однако в Google назвали методологию исследования Oumi несовершенной. «У этого исследования серьезные изъяны. Оно не отражает то, что люди реально ищут в Google», — заявил представитель компании Нед Эдрианс.

Когда ответ невозможно проверить

Ошибки в ответах — лишь часть проблемы. Исследование выявило более тревожный тренд: даже когда ИИ отвечает верно, проверить это по приложенным ссылкам зачастую невозможно. В феврале 56% корректных ответов оказались «необоснованными» — то есть ссылались на источники, которые не подтверждали выданную информацию. В октябре этот показатель составлял 37%.

Качество самих источников тоже вызывает вопросы. Из 5 380 ссылок, которые привел ИИ во время тестирования, соцсеть Facebook* и платформа форумов Reddit оказались вторым и четвертым по частоте упоминания источниками. Характерный пример: на вопрос о том, когда дом Боба Марли стал музеем, Google ответил — в 1987 году. На самом деле музей открылся 11 мая 1986 года, о чем на следующий день сообщила ямайская газета Daily Gleaner. В качестве источников ИИ привел пост дочери музыканта в Facebook*, тревел-блог с неточной информацией и статью в Википедии с двумя противоречащими друг другу датами.

Написал в блог — стал экспертом

ИИ-ответы Google оказались уязвимы и для целенаправленных манипуляций. Как объяснила в беседе с New York Times вице-президент по ИИ-поиску маркетингового агентства Amsive Лили Рэй, достаточно опубликовать пост в блоге, провозгласив себя экспертом в чем угодно, — и система может принять это за факт.

Журналист подкаста BBC The Interface Томас Жермен решил проверить эту теорию. Он написал пост о вымышленном чемпионате по поеданию хот-догов в Южной Дакоте, где назвал себя победителем. Через день Google выдал его имя первым в ИИ-ответе на запрос о лучших пожирателях хот-догов среди технологических журналистов. «Система выдавала информацию с моего сайта так, будто это истина в последней инстанции», — рассказал Томас Жермен.

Для маркетологов это создает двойной вызов. С одной стороны, ИИ-ответы меняют логику поисковой оптимизации: бренды теряют трафик, когда Google отвечает за них. С другой — непредсказуемость источников создает репутационные риски: упоминание компании в ИИ-ответе может соседствовать с недостоверной информацией, на которую бренд повлиять не в состоянии.

* соцсеть Facebook признана экстремистской и запрещена в РФ

Авторы:

Николай Белый