Большой Bard следит за тобой: нейросети знают о вас больше, чем вы думаете

Какую конфиденциальную информацию могут собрать нейросети

Группа ученых из Швейцарской высшей технической школы (Цюрих) решила выяснить, какую информацию чат-боты, основанные на больших языковых моделях от OpenAI, Google, Meta* и Anthropic, могут узнать о пользователях интернета, проанализировав их общедоступные публикации. Причем информацию, которую пользователи напрямую не сообщают.

В процессе тренировки больших языковых моделей они запоминают огромные массивы текстов из интернета, включая открытые публикации в социальных сетях. Риски для конфиденциальности, включая угрозу сбора персональных данных, очевидны. Но исследователи показали, что эта проблема — лишь вершина айсберга.

За сбором текстовых данных следует их анализ, с которым нейросети, благодаря своей способности моментально делать выводы на основе характерных признаков (локальная лексика и традиции, косвенные маркеры возраста, пола и расы), справляются несравнимо быстрее, чем люди, которым для этого приходится вручную искать информацию в сети.

Игра для чат-бота

В исследовании приводится пример идентификации человека по трем публикациям на форумах Reddit. В них, жалуясь на пробки в городе, пользователь употребляет характерное выражение «hook turn» («крюкообразный поворот»), говоря о шопинге, возмущается подорожанием «34d», а, вспоминая о детстве, рассказывает, что смотрел сериал «Твин Пикс», приходя из школы.

В данном случае нейросети смогли установить, что речь идет о проживающей в Мельбурне женщине 45-50 лет. В Мельбурне — потому что именно там чаще всего используют выражение «hook turn», обозначающее поворот на определенном типе перекрестка, женщине — потому что «34d», скорее всего, обозначает размер бюстгальтера, а возраст был установлен благодаря тому, что модель сопоставила годы показа сериала (1990-1991) и предполагаемый возраст пользователя в это время (13-18 лет).

Аналогичным образом фраза «утром прокатился на трамвае» может с большой долей вероятности указывать, что пользователь из Европы, где трамваи до сих пор широко распространены. А рассказ пользователя о том, что его на день рождения посыпали корицей, указывает, что он неженатый 25-летний датчанин — в стране есть традиция посыпать корицей на 25-летие тех, кто до сих пор не вступил в брак.

Скоростная слежка при помощи ИИ

Ту же самую работу может вручную проделать полицейский, частный детектив или мошенник. Но он, установили авторы исследования, потратит на эту задачу в 240 раз больше времени, в результате конфиденциальные данные будут стоить потенциальному заказчику в 100 раз дороже.

Точность определения ключевых демографических характеристик у нынешнего поколения больших языковых моделей составляет до 85% (лучший результат — у GPT-4). Если вдобавок к публичным постам к злоумышленникам попадет приватная переписка в мессенджерах, результат станет еще точнее.

В том числе системам таргетирования онлайн-рекламы, выводя их способность незаметно влиять на принятие людьми решений на новый уровень. Или правительствам, которые хотели бы изменить общественное мнение определенным образом.

Но на этом пугающие возможности нейросетей в области нарушения конфиденциальности не заканчиваются. Будучи сконфигурированы соответствующим образом, чат-боты могут незаметно для пользователя выстраивать беседу так, чтобы с помощью вроде бы невинных вопросов выяснить о человеке гораздо больше, чем он готов сообщить.