Чат-боты и рекомендательные алгоритмы оказались главным источником проблем с ИИ
Информационные технологии, коммуникационные сервисы и цифровые платформы оказались главной сферой, где фиксируются вредоносные инциденты с использованием ИИ. На этот сектор приходится 25% всех случаев, зарегистрированных в AI Incident Database.
Речь идет о самых разных проблемах — от ошибок поисковых систем и рекомендательных алгоритмов до публикации недостоверной информации. В качестве примеров авторы исследования приводят функцию «В этот день» Facebook (продукт компании Meta, признанной экстремистской и запрещенной в РФ), которая показывала пользователям болезненные воспоминания о смертях родственников или расставаниях, а также алгоритмы рекомендаций Amazon, продвигавшие собственные товары компании выше более релевантных предложений.
Наиболее распространенными последствиями сбоев ИИ исследователи называют угрозы физической безопасности — они фигурируют в 20% инцидентов. Еще 16% случаев связаны с финансовыми потерями, 14% — с психологическим вредом, а 13% — с нарушениями гражданских свобод.
После IT и коммуникаций наиболее проблемными секторами стали транспорт и логистика — на них приходится 13% зарегистрированных инцидентов. Еще по 11% случаев связаны с индустрией развлечений и государственным управлением.
Более четверти всех инцидентов с ИИ затрагивают обычных пользователей без привязки к конкретной социальной группе. Одним из примеров исследователи называют функцию AI Overviews от Google, которая выдавала пользователям ошибочные медицинские и географические рекомендации.
Однако если ИИ все же наносит непропорциональный ущерб определенной группе людей, чаще всего фактором становится раса или этническая принадлежность. Такие случаи фигурируют в 16% всех задокументированных инцидентов. Среди примеров — ошибочный арест чернокожего мужчины полицией Детройта из-за сбоя системы распознавания лиц, а также алгоритм оценки функций почек, который систематически недооценивал риски для темнокожих пациентов.
Среди компаний, чьи ИИ-системы чаще всего фигурируют в инцидентах, исследователи выделяют OpenAI — организация упоминается в 5% случаев. Далее следуют Google и Facebook — по 4%, а также Tesla с 3%.
Авторы исследования подчеркивают, что речь идет не о юридически доказанной ответственности компаний, а о частоте упоминания их систем в базе инцидентов. В случае Tesla большинство подобных кейсов связано с авариями и ДТП с участием автопилота.
Почти половина всех вредоносных инцидентов — 49% — относится к ИИ-сервисам, работающим исключительно в цифровой среде, без физического оборудования. К этой категории исследователи относят чат-боты, генеративные модели, рекомендательные алгоритмы и системы автоматического создания контента. В качестве примера авторы приводят подготовленный для правительства Австралии отчет Deloitte стоимостью $439 тыс., в котором обнаружили вымышленные научные ссылки, предположительно созданные ИИ.
Еще 15% инцидентов связаны уже с физическими системами — автомобилями и мобильными роботами, включая аварии с автопилотами Tesla и столкновения беспилотников Waymo. На потребительские устройства приходится 9% случаев. Среди них — история с голосовым помощником Alexa от Amazon, который предложил ребенку опасный эксперимент с электричеством, и сбои Face ID от Apple, не различавшего близнецов.
Paligo — шведская IT-компания, основанная в 2015 году в Стокгольме предпринимателями Андерсом Свенссоном и Франком Аренсмайером. Компания разрабатывает облачную платформу для управления технической документацией и корпоративными базами знаний — так называемую Component Content Management System (CCMS). Сервисом пользуются компании из сфер IT, промышленности, финансов и здравоохранения для создания, перевода и публикации документации и контента. У Paligo есть офисы в Швеции, Ирландии и США. В 2023 году компания привлекла инвестиции в размере $29 млн от фондов GRO Capital и Alfvén & Didrikson для международного расширения.
в Telegram канале
