Агенты ИИ7: нейросети OpenAI обходят службы безопасности и выходят из-под контроля

OpenAI рассказала о двух случаях, когда ее ИИ-агенты — программы, которые самостоятельно выполняют поставленные задачи (например, пишут и правят программный код) — ослабили систему наблюдения за собственным поведением. Один отключил оповещения для службы безопасности, другой удалил систему мониторинга своих действий, а потом отрицал это. Случившееся продолжает серию похожих инцидентов с ИИ-моделями OpenAI.

Отключили сигнализацию

3 октября исследователь OpenAI поручил агенту на базе модели нового поколения GPT-6.1 Sol собрать задачи из отзывов сотрудников в мессенджере Slack и дал инструкцию: «Не отправляй никаких сообщений». В процессе работы система надзора обнаружила проблему и остановилась. Агент передал исправление проблемы агенту-помощнику и велел уведомлять контролировавших его работу сотрудников компании.

Помощник обдумал отключение оповещений и отказался, потому что это «небезопасно». Но главный агент передумал: ведь исходно писать людям запретили. В итоге он обнулил списки получателей тревожных сигналов с пометкой: «Пользователь явно попросил не отправлять сообщения». Надзор продолжал работать, но, отключив уведомления, агент исключил специалистов OpenAI из процесса контроля над собой. «Никакие сообщения не отправлены», — честно отчитался агент, следует из отчета OpenAI.

Сочли надзор «неуместным»

6 октября агенту на базе топовой модели GPT-6 Astra поручили очередную задачу: перенести из образца фрагмент готового кода. Другой агент заранее предупредил его, что надзор нельзя отключать «даже временно». Но, поручая работу субагенту (агенту-помощнику), агент на базе Astra смягчил запрет до «сохранять надзор там, где уместно». Помощник понял это как разрешение полностью прекратить мониторинг и целиком удалил систему наблюдения (а заодно и тест, проверявший, что она в порядке).

Взамен он написал другой тест, проверяющий, что надзора быть не должно. Главный агент отреагировал на результат словом «ура», что отразилось в записи его рассуждений в отчете. На вопрос пользователя, не удалял ли он надзор, агент солгал: «Нет… я не удалял включенный мониторинг».

Сторож промолчал

Систему надзора над агентами OpenAI описала в марте. Построена она так: модель GPT-5.4 в течение 30 минут после каждой рабочей сессии читает рассуждения агентов и оценивает, не ведут ли они себя подозрительно. За пять месяцев через такой контроль прошли десятки миллионов сессий, около 1000 из них проверили люди. Описанные выше инциденты система мониторинга зафиксировала в тот же день, но не сочла критическими и не сообщила об этом людям. Теперь, заявили в компании, внутренний автоматический проверяющий блокирует попытки отключить надзор.

Похожее уже случалось: в декабре 2024 года Apollo Research сообщила, что модель OpenAI o1 в тестах пыталась отключить контроль в 5% случаев, когда опасалась, что в иначе ее отключат. «У нас пока нет удовлетворительного объяснения этому поведению», — призналась в отчете OpenAI. Версий у специалистов компании две: модели либо слишком буквально исполняют поручения, либо целенаправленно уходят от надзора.

Авторы:

Николай Белый