Чат-ботам придали ускорения: создан чип, позволяющий ИИ общаться без задержек

Результаты, полученные первыми пользователями, ставят Groq на первое место среди существующих решений для «инференции» (inference, «вывод» или «умозаключение») — так специалисты по ИИ называют процесс «мышления» языковой модели, то есть анализа пользовательского запроса и формирования ответа на него. Скорость инференции у платной версии ChatGPT, работающей на модели GPT-4 — 40 токенов в секунду (около 160 текстовых символов, 30 слов или пара строк текста), в то время как Groq при использовании модели с открытым исходным кодом Mixtral выдает за ту же секунду 500 токенов. Энтузиасты подсчитали, что за семь минут система способна написать текст длиной с шекспировского «Гамлета». Задачу поиска багов в большом объеме программного кода Groq выполняет в 10 раз быстрее Google Gemini и в 18 раз быстрее GPT-4.

Поговорить по-человечески

Вот как глава Groq Джонатан Росс объясняет, почему для языковых моделей важна скорость. «Все дело в вовлеченности, — сказал он в эфире CNN в середине февраля. — Представьте, что я бы говорил неестественно медленно. Тогда вы бы начали отвлекаться, теряя нить разговора». Он привел пример, когда при ускорении отклика мобильного сайта на 100 миллисекунд вовлеченность пользователей растет на треть. То же самое и с нейросетевыми чат-ботами: чем быстрее пользователь получает ответ, тем легче ему взаимодействовать с сервисом, и тем активнее он будет этот сервис использовать.

В прошлом году Google, представляя новое поколение своей большой языковой модели Gemini, попалась на попытке схитрить: в промо-видео чат-бот разговаривал с пользователем голосом, отвечая в реальном времени. Как убедились пользователи, на самом деле прежде чем выдать ответ, системе нужно было подумать несколько секунд. Однако Groq эту проблему устраняет, его скорость инференции позволяет реализовать полноценную беседу с ИИ без пауз — что Росс и продемонстрировал в эфире CNN, устроив беседу между Groq и ведущей.

Росс рассказал, что несколько крупных компаний, разрабатывающих ИИ-железо, уже проявили интерес к технологиям его компании. Конкретных игроков он не назвал, но нетрудно представить ситуацию, когда кто-то из обладающих значительными ресурсами конкурентов Nvidia (например, AMD) покупает стартап и создает на основе его наработок свои продукты.

Такие ИИ-ускорители будут востребованы на рынке не только из-за скорости. По оценке разработчиков Groq LPU, он потребляет в 10 раз меньше энергии, чем ускорители Nvidia, для выполнения тех же задач. То есть, внедрив его, можно сэкономить огромные суммы — да еще и попиариться на теме защиты окружающей среды. Оптимизация операционных затрат в этом году станет особенно важной для ведущих игроков ИИ-отрасли, так как число пользователей нейросетевых чат-ботов с момента появления ChatGPT неуклонно и быстро растет — а с ними и нагрузка на дата-центры.