Русский язык обходится пользователям ИИ в 2,5 раза дороже английского
Недавно созданная международная Коалиция за языковое равенство в исследованиях ИИ (CLEAR) опубликовала исследование, согласно которому среди 20 самых распространённых языков интернета разница в расходе токенов достигает пяти раз. При расширении выборки до 200 языков разрыв для отдельных моделей вырастает до 17 раз.
За русский тоже предусмотрен налог: в токенизаторе модели GPT-4 от OpenAI русский текст потребовал в 2,24 раза больше токенов, чем английский, в более новой версии GPT-4o — в 1,24 раза больше.
Самые дорогие языки — те, с чьей письменностью текенизаторы знакомы. В числе наиболее уязвимых — бирманский, тибетский, кхмерский и лаосский. Токенизаторы дробят их слова на множество мелких фрагментов вместо того, чтобы распознавать их более крупными единицами.
Антирейтинг по времени обработки запросов тоже непосредственно связан с языком: чем больше токенов приходится обрабатывать, тем выше задержка. Однако CLEAR не приводит отдельной таблицы с рейтингом языков по времени ответа — измеренный разрыв в токенах нельзя автоматически переводить в такой же разрыв в секундах.
в Telegram канале
Другие статьи
