ИИ прошел всестороннее обследование в Стэнфорде

Специалисты из Стэнфорда выяснили, сколько денег OpenAI и Google потратили на тренировку своих флагманских моделей искусственного интеллекта, инвестиции в какое направление ИИ-технологий выросли за год в восемь раз, и кто лидирует в геополитической «гонке нейросетевых вооружений». В Институте человекоориентированного ИИ при Стэнфордском университете (Stanford Institute for Human-Centered Artificial Intelligence, HAI) при участии ведущих экспертов индустрии и ученых подготовили объемный отчет о тенденциях в сфере искусственного интеллекта. На 500 страницах охватили все — от исследований и разработки до финансовых затрат, проблем регулирования, экономических и геополитических аспектов. ADPASS ознакомился с одним из самых масштабных исследований прогресса в самой горячем (или перегретом?) секторе IT-индустрии.

ИИ обогнал людей (но не во всем)

Десять лет назад нейросети были не в состоянии на уровне обычного человека классифицировать объекты на изображениях. Впервые искусственный интеллект опередил людей в выполнении этой задачи в 2015 году. В 2017-м программы стали лучше среднестатистического человека понимать неспециализированные тексты, в 2020-м — оперировать визуальными образами при рассуждениях (visual reasoning), в 2021-м — делать заключения о правдивости или ложности гипотез на основе текста (natural language inference).

Тем не менее, более сложные задачи машинам пока даются хуже, чем белковому мозгу. Это, например, рассуждения на основе здравого смысла (commonsense reasoning) и решение задач по математике олимпиадного уровня. Плохо и с абстрактным мышлением, без которого и речи не может быть о создании общего искусственного интеллекта (то есть равного или превосходящего человеческий). Даже трехлетние дети способны решать незнакомые проблемы, используя имеющиеся знания. В одном из цитируемых в отчете исследований участники-люди решили 95% простых задач на абстрактное мышление, самая продвинутая ИИ-модель, GPT-4 — только 69%.

Оценку ИИ ставит человек

Одновременно с этим отчет констатирует серьезную проблему: многие тесты, широко использовавшиеся для оценки способностей ИИ и сравнения разных моделей в предыдущие годы, стали нерелевантными. Они больше не отражают реальный прогресс, так как разрабатывались для нейросетей совершенно другого уровня. Поскольку крупнейшие игроки отрасли не договорились о едином наборе бенчмарков для оценки своих больших языковых моделей, сравнивать их тоже проблематично. В итоге пока большинство экспертов считает, что с независимой оценкой работы ИИ лучше всего справляются сами пользователи нейросетей — когда результат формируется на основе ранжирования тысячами пользователей качества ответов разных моделей на одни и те же вопросы.

Затраты и инвестиции растут по экспоненте

Разработка передовых языковых моделей ИИ становится все более затратной, причем растут затраты стремительно. В отчете приводятся такие оценки: в 2020 году OpenAI потратила $4,3 млн (имеются в виду только использованные вычислительные ресурсы, в случае с OpenAI это были в основном дата-центры облака Microsoft) на обучение GPT-3. Чтобы запустить GPT-4 в 2023-м, потребовалось в 18 с лишним раз больше — $78,3 млн. Первая достаточно способная большая языковая модель Google, запущенная в 2022 году, LaMDA съела компьютерных ресурсов на $1,3 млн. Топовая модель последнего поколения, Gemini Ultra — рекордные $191,4 млн.

Рост затрат на обучение крупнейших ИИ-моделей по годам, в долларах США

Проблем с деньгами у разработчиков нет, по крайней мере, у частных компаний, работающих в области генеративного ИИ. В 2023 году они получили в восемь раз больше инвестиций, чем годом ранее — $25,2 млрд. О новых крупных раундах финансирования заявили многие ведущие игроки отрасли, включая OpenAI, Anthropic (ее модели Claude 3 недавно удалось даже ненадолго обогнать GPT-4) и Hugging Face (крупнейшая платформа, позволяющая пользователям работать с ИИ-моделями от разных разработчиков). В свете этого неудивительны и другие тренды, зафиксированные в отчете: частный бизнес представил в 2023 году в три с лишним раза больше значимых (авторы отчета используют слово notable) моделей, чем научные организации (51 против 15). В 2016 году и те и те представили по 21 модели, но с тех пор бизнес ушел в отрыв. Лидируют закрытые частные модели и по качеству работы, в среднем существенно обгоняя разработки ограниченных в финансах ученых.

США лидируют по разработкам, Китай — по патентам

В «Сбере» и «Яндексе» будут огорчены, но их ИИ-модели, выпущенные в 2023 году, отчет стэнфордского института значимыми не считает. Десятку стран-лидеров по числу таких моделей возглавляют США (61 модель), Китай (15) и Франция (8). За ними следуют Германия (5), Канада, Израиль и Великобритания (по 4), Сингапур и ОАЭ (по 3) и Египет (2).

На карте страны закрашены разными цветами в зависимости от числа значимых моделей, представленных за последние 20 лет. Россия здесь попала в одну категорию с Аргентиной, Египтом и Ираном (от 1 до 10 моделей).

В то же время, по числу патентов на разработки в сфере искусственного интеллекта с огромным отрывом лидирует Китай. Возможно, просто в силу численности исследователи и разработчики из Поднебесной с 2010-го по 2022 год получили более 35 тыс. ИИ-патентов (61,1% от общемирового числа), в то время как их американские коллеги — только 12 тыс. (20,9%). В Европе дела совсем плохи: в ЕС и Великобритании за 12 лет были признаны всего 1170 ИИ-изобретений. Ситуация сейчас кардинально отличается от 2010 года, когда более половины патентов в сфере ИИ принадлежали исследователям или компаниям из США.

Нейросети напугали общество

Авторы отчета указывают на растущие риски, связанные с ИИ, в первую очередь упоминая политические дипфейки, применяемые для манипулирования общественным мнением. Еще один повод для беспокойства — выявленные исследователями способы манипулировать ИИ-моделями так, чтобы они выдавали опасную информацию, вроде инструкций по изготовлению взрывных устройств или создания компьютерных вирусов.

Так менялось отношение американцев к ИИ в последние годы (синий – оптимисты, серо-зеленый – пессимисты)

В 2023 году тема ИИ начала по-настоящему широко освещаться за пределами профессиональных медиа, поэтому неудивительно, что рекордное число людей по всему миру — 66%, по данным исследования Pew Research — ожидают из-за ИИ радикальных изменений в своей жизни в ближайшие 3-5 лет. Показательна ситуация в США, где в 2022 году скорее хорошего от ИИ ждали 46% опрошенных, а скорее плохого — 38%. В 2023-м пессимистами оказались более половины — 52%, а оптимистов осталось 36%.

Что может затормозить ИИ-революцию

При этом самими разработчикам ИИ-моделей приходится беспокоиться по другим поводам. Один из них — активность правительств и регуляторов. В США на конец 2023 года действовали уже 25 нормативных актов, касающихся ИИ, — на 56% больше, чем годом ранее. Наиболее значимым стал указ президента Байдена о подходах к регулированию этой сферы, а в ЕС согласовали текст всеобъемлющего Закона об искусственном интеллекте (он был одобрен Европарламентом 13 марта 2024 года).

Другая угроза, рискующая затормозить развитие наиболее продвинутых языковых моделей, — дефицит качественных данных для тренировки. Исследователи из группы Epoch, на которых ссылается отчет, не исключают, что качественные текстовые данные для тренировки ИИ закончатся уже в 2024 году, после чего все такие тексты придется создавать специально. Этим, например, уже занимаются ИИ-тренеры «Яндекса», о работе которых писал ADPASS. Визуальных данных и низкокачественных текстов хватит, согласно той же оценке, еще на пару десятков лет.

Первые плоды

В 2023 году стало окончательно ясно, что ИИ действительно помогает бизнесу тратить меньше и зарабатывать больше. В отчете приводятся данные опроса представителей бизнеса исследователями McKinsey: 59% заявили о росте выручки вследствие внедрения нейросетевых технологий, в том числе генеративного ИИ. 42% (на 10% больше, чем годом ранее) заявили, что ИИ помогает снизить издержки.

Кроме того, сразу несколько качественных исследований в 2023 году установили рост продуктивности применяющих ИИ сотрудников. В Microsoft выявили, что Copilot ускоряет выполнение разных задач на 26-73%. А в Гарвардской школе бизнеса зафиксировали повышение скорости работы бизнес-консультантов благодаря внедрению GPT-4 на 25%, а качества работы — на 40%. Еще одно исследование установило, что благодаря ИИ юристы стали на 11-32% быстрее составлять разные типы документов.