«Готовность» приглядит за сверхразумом: OpenAI обещает установить над ChatGPT родительский контроль

Не прошло и года, как самый знаменитый в мире стартап OpenAI решил потратиться на безопасность и создать управление катастрофических рисков, задача которого выявлять угрозы человечеству со стороны машин и предотвращать их на ранних стадиях, не дожидаясь преждевременного рождения автономного сверхразума. Объявление о приеме на работу в подразделение «Готовность» и хорошо оплачиваемом челлендже для конкурсантов было размещено на сайте OpenAI сегодня, в преддверии первого международного саммита по ИИ.

Алармистский ИИ-саммит Риши Сунака

Великобритания готовится на следующей неделе принять международный саммит по безопасности искусственного интеллекта. Место проведения выбрано удачное, символизирующее войну и науку или победу в войне при помощи математики: мероприятие пройдет на территории усадьбы Блетчли-парк городка Милтон-Кинс, дальней северо-западной субурбии Лондона. Там во время Второй мировой войны располагалась легендарная школа кодов и шифров (Government Code & Cypher School, GC&CS), в которой под управлением математика Алана Тьюринга взломали немецкую шифровальную машину Enigma. На форум, который еще называют саммитом Сунака, отмечающего годовщину прихода к власти, соберутся главы ряда западных стран, друзья британского премьера — ожидается приезд Эммануэля Макрона и Джастина Трюдо. США должна представлять вице-президент Камала Харрис. В противовес им приглашены делегация из Китая и Илон Маск, X (экс-Twitter) которого Европа обвиняет в потоке дезинформации о ситуации в Газе и Израиле.

«Если относиться к ИИ неправильно, то он может упростить создание химического или биологического оружия. Террористические группировки могут использовать ИИ с целью посеять страх и разрушения еще большего масштаба. Преступники могут использовать ИИ для кибератак, дезинформации, мошенничества. А наименее вероятные и экстремальные сценарии говорят о наличии риска того, что человечество может полностью потерять контроль над ИИ», — заявил вчера британский премьер.

Сунак надеется, что 1-2 ноября лучше поймет, опасны ли существующие уже сейчас нейропрограммы, каких угроз от них для рынка труда стоит ждать в ближайшее время и как подступиться к их регулированию на государственном уровне.

Как OpenAI собирается контролировать ChatGPT

Главный мировой ИИ-стартап OpenAI не мог оставаться в стороне от статусного мероприятия. Не дожидаясь ограничительных мер властей, он поспешил сам себя отрегулировать. Продвинувшийся дальше конкурентов в разработке генеративных моделей создатель ChatGPT объявил о формировании команды, смысл которой в предотвращении угроз, связанных со стремительным развитием технологии.

«Мы считаем, что передовые модели искусственного интеллекта (…) могут принести пользу всему человечеству. Но они также создают все более серьезные риски».

Что это за риски и как их избежать, компания отвечает размыто, вопросами на вопросы. Сама еще не до конца осознала, но прибылей лишаться не собирается и просит всех сохранять спокойствие:

• Насколько опасны передовые системы искусственного интеллекта, если их неправильно использовать как сейчас, так и в будущем?
• Как создать надежную основу для мониторинга, оценки, прогнозирования и защиты от опасных возможностей систем ИИ?
• Если бы наши передовые модели ИИ были украдены, как злоумышленники могли бы ими воспользоваться?

«Мы серьезно относимся ко всему спектру рисков безопасности, связанных с искусственным интеллектом, — от систем, которые мы имеем сегодня, до самых дальних пределов сверхразума», — успокаивает всех «луддитов» OpenAI.

Сэм Альтман объявил боевую «Готовность»

Чтобы придать убедительности своим миссионерским декларациям, OpenAI добавил, что еще в июле вместе с другими ведущими лабораториями искусственного интеллекта взвалил на себя ряд добровольных обязательств по обеспечению безопасности, защищенности и доверия к искусственному интеллекту.

К ноябрю технокомпания нашла и ответственного за новое направление, точнее пока за кадровый набор мыслителей и практиков, которые будут мониторить и предвосхищать проделки современных нейросетей и будущих моделей уровня AGI, значительно превосходящих человеческий разум. Им стал Александр Мадри, находящийся в творческом отпуске препод MIT. Собираемую им группу назвали «Готовность» (Preparedness).

В ее задачи войдут отслеживание, оценка, прогнозирование и защита от катастрофических рисков по нескольким направлениям (категориям):

• Индивидуальное убеждение (манипулирование сознанием людей);
• Информационная безопасность;
• Химические, биологические, радиологические и ядерные угрозы;
• Автономная репликация и адаптация (получение машинами самостоятельности, возможностей саморазмножения и приспособления).

«Готовность» должна будет разработать нормы политики развития с учетом рисков (RDP) и следить за их соблюдением.

«В RDP будет подробно описан наш подход к разработке строгой оценки и мониторинга возможностей пограничной модели, созданию спектра защитных действий и структуры управления для подотчетности и надзора в рамках этого процесса».

Кроме объявления о приеме на работу «исключительных специалистов с разным техническим опытом» компания 38-летнего открытого гея Сэма Альтмана объявила конкурс с призовым фондом $250 тыс., до 10 победителей которого не только одарят $25 тыс., но и возьмут в команду. Условия, форма участника и задания челленджа, который продлится до 31 декабря, здесь.

Три главные угрозы человечеству со стороны ИИ. Первая версия

Сэм Альтман — один из авторов второго письма к человечеству, которое предупреждает людей об угрозе полного уничтожения. В отличие от первого воззвания, подписанного бывшим партнером Альтмана по OpenAI Илоном Маском, сооснователем Apple Стивом Возняком и еще 27 тысячами ученых и предпринимателей, оно не такое представительное, гораздо более лаконичное, гораздо менее алармистское и не призывает ограничить модели генеративного искусственного интеллекта в развитии ради сохранения жизни на Земле.

Весной этого года, на момент написания обоих писем специалисты выделяли три основные группы рисков от использования ИИ.

— Краткосрочный риск: дезинформация

Поскольку ИИ-системы предоставляют информацию, которая кажется абсолютно достоверной, при их использовании бывает сложно отделить правду от вымысла. Люди уже злоупотребляют ИИ для распространения дезинформации, например, используя дипфейки.

— Среднесрочный риск: потеря работы

Растет обеспокоенность тем, что ИИ может занять рабочие места людей. Сейчас такие технологии, как GPT-4, дополняют людей. Но OpenAI признает, что они уже могут заменить некоторых работников, особенно в рутинных профессиях.

— Долгосрочный риск: потеря контроля

Считается, что умные программы-помощники могут со временем выйти из-под контроля людей и впоследствии их уничтожить. Они говорят, что разработчики могут создать новые риски, если позволят мощным генеративным системам запускать собственный код, что даст им непредвиденные возможности.

К концу года, как видно из речи британского премьера и офера на сайте OpenAI, угроз стало больше, чем три, они выглядят конкретнее и детализированее, а их воплощение уже не кажется таким отдаленным и невозможным.

ADPASS будет следить за саммитом под Лондоном