GPT с картинками: чем четвертая языковая модель OpenAI превосходит GPT-3.5 и как ответил конкуренту Google

OpenAI представила четвертое поколение своей языковой генеративной модели GPT. Утверждается, что она превосходит по возможностям предыдущую версию, на основе которой создан прославленный чат-бот СhatGPT. В частности, GPT-4 получила компьютерное зрение и углубленные знания: новая модель умеет работать с изображениями и сдавать сложные экзамены на уровне студента-отличника. Одновременно (это уже становится традицией) Google рассказал об очередных новых рубежах, взятых его собственным ИИ: корпорация подключила его к Google Docs, почте и другим продуктам. Но пока его чат-бота Bard не видел никто, эти презентации интересуют только специалистов по машинному обучению и журналистов.

Что умеет GPT-4

1. Работать с изображениями

В отличие от GPT-3.5, GPT-4 обрабатывает не только текстовые входные данные, но и изображения, выдавая текстовые выходные данные. Такая технология называется компьютерным зрением: GPT-4 может генерировать подписи к изображениям, анализировать, классифицировать и интерпретировать их.

OpenAI считает, что это большой шаг вперед: способность модели анализировать текст и изображение одновременно позволяет ей интерпретировать более сложные входные данные. Новая языковая модель может решать сфотографированные уравнения, объяснять диаграммы и графики и выполнять различные задачи на основе картинок. И, конечно же, разжевывать мемы.

Важнейшим социальным партнерством, ставшим возможным благодаря работе GPT-4 с изображениями, западные журналисты называют сотрудничество с приложением Be My Eyes. Be My Eyes — это бесплатное приложение, которое соединяет слепых и слабовидящих людей со зрячими волонтерами или представителями компаний для для визуальной помощи через прямой видеозвонок.

Теперь в новую версию приложения Be My Eyes интегрирован «виртуальный волонтер» от GPT-4, который предлагает помощь на основе ИИ в любое время. Пользователи могут отправлять ему изображения, и он ответит на любой вопрос об этом изображении и предоставит мгновенную визуальную помощь для самых разных задач — описать рисунок на платье, определить растение, объяснить, как добраться до определенного тренажера в спортзале, перевести этикетку, предложить репцепт из имеющихся в холодильнике продуктов, прочитать карту и так далее.

Один из самых популярных комментариев к стриму-презентации GPT-4 для разработчиков в YouTube — от пользователя, который впечатлен тем, как нейросеть может читать каракули врачей. Если GPT-4 действительно сможет определять названия лекарств в неразборчивых рукописных рецептах, то OpenAI похоронит еще одну разработку Google. В конце декабря 2022 года представители корпорации на ежегодной конференции «Google для Индии» объявили, что Google вместе с фармацевтами создает функционал, который позволит расшифровывать нечитаемые рецепты на лекарства.

2. Сдавать вступительные и выпускные экзамены

Различие между GPT-4 и его предшественником GPT-3.5 в обычном разговоре разработчики называют тонким. Но OpenAI утверждает, что новая модель «более творческая и комплексная, чем когда-либо прежде», «может решать сложные задачи с большей точностью». И предлагает убедиться в улучшенной производительности машины на основании сданных GPT-4 экзаменов Uniform Bar Exam, LSAT, SAT Math и SAT Evidence-Based Reading & Writing, результатов олимпиады по биологии так далее. По результатам некоторых тестов нейросеть вошла в 10% лучших студентов.

C полным списком экзаменов и результатов GPT-4 можно ознакомиться в блоге разработчиков и исследователей OpenAI.

CPT-4 так же может производить сложные расчеты. Во время прямого эфира для разработчиков в YouTube нейросеть посчитала запутанный налог семейной пары. Ведущий презентацию резидент и сооснователь OpenAI Грей Брокман признался, что впервые понял, как его считать.

3. «Держать в памяти» больше информации

GPT-4 способен обрабатывать более 25 000 слов одновременно, что позволяет создавать длинные тексты, расширенные беседы, а также искать и анализировать документы, отмечается в презентации OpenAI.

При этом «держать в памяти» GPT-4 может еще больше: около 64 000 слов или 50 страниц текста, пишет TechCrunch. Это достаточно для целой пьесы или рассказа. Модель будет помнить, о чем вы говорили 20 страниц чата назад, или при написании рассказа или эссе ссылаться на события, которые произошли 35 страниц назад. Для сравнения, ChatGPT на основе GPT-3.5 мог удерживать в памяти около 8 000 слов, поэтому терял нить длинной беседы с ним.

4. Демонстрировать высокую управляемость

С GPT-4 OpenAI представляет новую возможность API, которую в компании называют «управляемостью». Это «системные» сообщения, являющиеся по своей сути инструкциями, которые позволяют разработчикам задавать стиль и задачи языковой модели, устанавливать границы для следующих взаимодействий с ИИ.

GPT-4 интегрирует управляемость более естественно, чем GPT-3.5, и пользователи смогут изменить «классическую индивидуальность ChatGPT с фиксированной детализацией, тоном и стилем» на что-то более подходящее для их нужд «в пределах допустимого». Это можно было сделать и раньше, отправив чат-боту сообщения по типу «отвечай так, как будто ты гендиректор рекламного агентства, у которого берут интервью для ADPASS». Но на самом деле пользователи просто предлагали «по умолчанию» индивидуальность GPT-3.5. Теперь разработчики смогут с самого начала задать перспективу, разговорный стиль, тон или метод взаимодействия.

Как пользоваться GPT-4

OpenAI уже интегрирует GPT-4 в продукты партнеров — например, Duolingo, Stripe, Morgan Stenley и даже целое правительство Исландии.

Новая модель доступна для широкой публики через ChatGPT Plus, ежемесячную платную подписку OpenAI (стоимость — $20 в месяц), и используется для чат-бота Microsoft Bing. Он также будет доступен как API для разработчиков, пока для этого предлагается записаться в лист ожидания.

Оплатить ChatGPT Plus из России напрямую невозможно, чат-бот Microsoft Bing также закрыт для пользователей из Белоруссии, России и Украины. Также маловероятно, GPT-4 дадут тестировать разработчикам из России. Но можно подписаться на ChatGPT Plus разными обходными путями — VPN плюс карты иностранных банков, множество сайтов, предлагающих свою помощь в этом и так далее.