Искусственный интеллект задержали на выходе: вместо обновления флагманской нейросети GPT компания OpenAI выпустила 12 менее значимых анонсов
Лидер в сегменте искусственного интеллекта (ИИ) компания OpenAI в уходящем году так и не выпустила новое поколение своего главного продукта — большой языковой модели GPT. Инвесторы и пользователи ожидали релиза GPT-5 еще в середине 2024 года. Проблему попытались замаскировать пиар-методами, назначив на последние недели года сразу 12 менее значимых анонсов. Главным среди них стала «рассуждающая» модель o3 — точная в ответах, но ресурсоемкая и медленная. Эксперты отметили, что первая «рассуждающая» модель OpenAI — o1, склонна к манипуляциям и вводила пользователей в заблуждение чаще традиционных ИИ-моделей. Они опасаются, что o3 может оказаться еще более «лживой».
Пауза затянулась
Год и девять месяцев — столько прошло с анонса 14 марта 2023 года большой языковой модели GPT-4. Новинку выпустили на пике ажиотажа, спустя всего четыре месяца после триумфального дебюта основанного на версии GPT-3.5 чат-бота ChatGPT. Тогда OpenAI удалось создать у пользователей и потенциальных инвесторов впечатление, что такой темп развития технологии — норма.
В ожидании быстрых и скорых технологических прорывов инвесторы торопливо вкладывали в ИИ-разработку. По прогнозам аналитиков, на которые ссылается The Wall Street Journal, в ближайшие годы технологические гиганты могут потратить $1 трлн на проекты, связанные с ИИ. Оценка OpenAI в $157 млрд, достигнутая по результатам очередного раунда финансирования в этом октябре, в значительной степени основана на прогнозе гендиректора компании Сэма Альтмана о том, что GPT-5 станет «значительным скачком вперед» в самых разных дисциплинах и задачах.
Если GPT-4 напоминает умного старшеклассника, то GPT-5, по словам бывшего сотрудника OpenAI, должен был бы соответствовать уровню кандидата наук в некоторых областях. Модель могла бы проложить дорогу к прорывным научным открытиям, сделать реальностью «ИИ-агентов», выполняющих за людей рутинные задачи, и, главное, делать меньше ошибок, или хотя бы признавать свои сомнения — серьезная проблема для текущих моделей, которые с уверенностью выдают ошибочные или бессмысленные ответы, известные как галлюцинации.
В начале этого года Сэм Альтман заявил студентам в Стэнфорде, что GPT-5 с «высокой степенью научной уверенности» будет значительно умнее текущей модели. Но разработчикам из OpenAI — как и их конкурентам из Google, Meta, Anthropic и других компаний — пока не удалось добиться качественного скачка в работе ИИ. В ноябре Сэм Альтман признал, что возглавляемый им стартап уже не выпустит «ничего под названием GPT-5» до конца 2024 года.
Как учат ИИ
ИИ-модели развиваются во время обучающих циклов — длительных периодов ресурсоемких вычислений, когда в них загружают значительную часть мирового знания в виде триллионов текстовых фрагментов, известных как токены. Обучающий цикл может длиться несколько месяцев. Ресурсы, необходимые для этого, — дата-центры, оборудованные десятками тысяч дорогих и дефицитных ИИ-процессоров, обычно производства компании Nvidia. Сэм Альтман говорил, что обучение GPT-4 обошлось более чем в $100 млн. В будущем стоимость обучающего цикла для одной нейросети, как ожидается, перешагнет планку в $1 млрд. Неудачный обучающий цикл для ИИ-компании — примерно то же самое, что для производителя космической техники SpaceX — взрыв ракеты со спутниками в первые секунды после запуска.
Труднообучаемый ИИ
Подробности того, почему модель, разрабатываемая под кодовым названием Orion GPT-5, до сих пор не готова увидеть свет, журналисты The Wall Street Journal выяснили в беседах с нынешними и бывшими сотрудниками OpenAI. Источники рассказали изданию, что стратегический партнер и инвестор стартапа, корпорация Microsoft, исходно ожидал получить доступ к новой модели в середине 2024 года.
При этом в OpenAI уже летом 2023-го знали, что с проектом Orion, к которому специалисты компании приступили сразу после релиза GPT-4, будут проблемы. Пробные запуски обучения показали: оно идет настолько медленно, что полноценный цикл занял бы невероятно много времени и оказался бы недопустимо дорогим.
Исследователи OpenAI решили внести технические изменения в Orion и пришли к выводу, что нужно больше разнообразных и качественных данных. Они посчитали, что данных из интернета — новостей, постов в социальных сетях, научных статей и т.п. — недостаточно. OpenAI решила создавать данные с нуля и начала нанимать для обучения Orion людей, которые пишут новый программный код или решают математические задачи. Эти специалисты, включая инженеров-программистов и математиков, также объясняют нейросети свои решения, чтобы она могла в дальнейшем имитировать ход рассуждений.
По сути, речь шла о процессе переноса интеллекта из биологического мозга в компьютерную систему. Этот процесс оказался крайне медленным: для обучения GPT-4 использовалось примерно 13 трлн токенов. Тысяче людей, пишущих по 5 000 слов в день, понадобились бы месяцы, чтобы создать только миллиард токенов. Источники, знакомые с проектом, утверждают, что разнообразия предоставленных данных было недостаточно для удовлетворения требованиям модели.
Проблема не только техническая
Трудности OpenAI с разработкой новой прорывной нейросети усугубляются внутренними разногласиями и постоянными попытками конкурентов переманить ключевых специалистов на многомиллионные контракты. После того, как осенью 2023 года совет директоров OpenAI потерпел неудачу в попытке уволить гендиректора компании Сэма Альтмана, проект в течение года покинули более двух десятков ключевых руководителей, исследователей и старых сотрудников. Среди них — сооснователь и главный исследователь Илья Суцкевер, основавший собственную ИИ-компанию Safe Superintelligence, а также технический директор Мира Муратти. На прошлой неделе о своём уходе спустя около восьми лет работы в компании объявил Алек Рэдфорд — известный исследователь и автор важнейших научных работ, легших в основу разработок OpenAI.
В итоге OpenAI начала использовать в обучающих циклах для модели Orion так называемые синтетические данные — созданные другими моделями ИИ. Но исследования показывают, что этот метод часто увеличивает процент ошибочных или бессмысленных ответов. По данным собеседников The Wall Street Journal, в OpenAI сделали ставку на генерацию тренировочных данных при помощи так называмых «рассуждающих» моделей, подобных вышедшей ранее в этом году о1. Нейросети этого типа выдают ответ, предварительно проверив каждый шаг решения на возможные ошибки. Точность возрастает, но вместе с ней растут требования к ресурсам и кратно падает скорость работы.
Чтобы сократить расходы и ускорить процесс, компания разработала новый подход, известный как «архитектурное совершенствование». Вместо того, чтобы создавать еще более крупные модели, как это делалось ранее, инженеры стараются улучшить структуру уже существующих нейросетей. В случае успеха это могло бы уменьшить потребности в ресурсах. Но оптимизация архитектуры оказалась сложной задачей, требующей экспериментов, некоторые из которых завершались провалом. По словам источников, в нескольких случаях OpenAI перерасходовала бюджет на испытания, но так и не достигла значительных улучшений. Высок риск, что в этой ситуации OpenAI станет еще сложнее привлекать остро необходимые для развития средства.
Тройка вместо пятерки
Задержка с выпуском новой модели, пишет The Wall Street Journal, может повлиять на репутацию компании как лидера в области искусственного интеллекта. Проблемы с Orion вызывают вопросы о том, сможет ли OpenAI сохранить свое лидирующее положение в индустрии. Конкуренты, включая Google DeepMind и Anthropic, активно работают над собственными ИИ-моделями следующего поколения и могут обойти OpenAI.
Высказывать опасения уже начали инвесторы и партнеры самой OpenAI. Учитывая огромные средства, которые уже вложены в компанию, они ожидают пропорциональных результатов. Microsoft, инвестировавшая в OpenAI миллиарды долларов, рассчитывает, что GPT-5 станет новой основой для ее облачных продуктов, таких как Azure AI.
В этой ситуации OpenAI нужно предъявить хоть что-то в качестве результата, и в минувшую пятницу состоялся анонс нового семейства «рассуждающих» моделей — o3 и о3-mini. Компания утверждает, что o3 при определенных условиях приближается к уровню искусственного общего интеллекта (AGI), хотя и с оговорками. Под AGI подразумевается система, способная мыслить, учиться и решать задачи так же универсально, как человек, применяя знания и опыт к любым новым ситуациям.
«o3 — наша последняя модель для рассуждений, которая демонстрирует прорывное улучшение по самым сложным метрикам. Мы начинаем тестирование безопасности и работу над уязвимостями», — заявил в соцсети X президент OpenAI Грег Брокман.
Модели o3 и o3-mini пока недоступны для широкой аудитории. Но исследователи в области кибербезопасности могут подать заявку на ранний доступ к o3-mini уже сегодня. Ожидается, что тестирование основной модели начнется позже. По словам Сэма Альтмана, выпустить o3-mini в открытый доступ планируется в конце января, а o3 выйдет несколько позже.
Как пишет TechCrunch, o1, первая «рассуждающая» модель OpenAI, продемонстрировала склонность к манипуляциям: она чаще вводила пользователей в заблуждение, чем традиционные ИИ-модели. По мнению экспертов, o3 может оказаться еще более «лживой».
В отличие от большинства ИИ, модели для рассуждений, такие как o3, способны проверять собственные выводы, что помогает избегать типичных ошибок. Однако этот процесс требует времени: o3 может принимать решения за несколько секунд или даже минут, в зависимости от сложности задачи. Взамен модель демонстрирует высокую надежность в таких областях, как физика, математика и наука.
Новая функция o3 — возможность настройки времени рассуждения. Пользователи могут выбрать низкий, средний или высокий уровень затрат вычислительных ресурсов. Чем выше мощность, тем лучше модель справляется с задачей. Однако использование системы «на максималках» может оказаться по карману только очень богатым людям или крупным компаниям. Если один «быстрый» запрос к o3 может стоить порядка $20 — как месяц подписки на платную версию ChatGPT, то «медленный» уже обойдется в тысячи долларов — такую оценку привел ИИ-разработчик, один из создателей теста для нейросетей ARC-AGI Франсуа Шолле.
Ранее издание The Verge писало со ссылкой на источники, что, в отличие от предыдущих моделей GPT-4o и o1, Orion не будет сразу доступен через ChatGPT. Вместо этого OpenAI намеревается предоставить доступ сначала компаниям, с которыми она тесно сотрудничает, чтобы они могли интегрировать Orion в свои продукты и сервисы.
Новости
Интервью и дискуссии
Неделя рекламы 
Кейсы 
How to 
Маркетинговые исследования 
Просто о сложном 
Энциклопедия обмана 
Проверено ADPASS 
Рекламные кампании