Сжатие информации: новый шаг в развитии языковых моделей

Учёные из Института AIRI, МФТИ и Лондонского математического института (LIMS) определили пределы сжатия информации для современных языковых моделей.

Исследование показало, что текст длиной в 1,5 тыс. слов или токенов можно эффективно сжать в один вектор — набор чисел, который модель способна использовать для восстановления исходного содержания. Это открытие может значительно повысить эффективность обработки данных в различных областях.

Как работает сжатие текста?

Когда текст поступает в языковую модель, он разбивается на токены — слова или их части, каждому из которых соответствует вектор. Обычно текст из 1,5 тыс. слов преобразуется в 1,5 тыс. векторов, что требует значительных вычислительных ресурсов. Однако учёные продемонстрировали, что всю эту информацию можно уместить в один-единственный вектор, сохраняя возможность восстановления оригинального текста. Например, книга «Хоббит, или Туда и обратно» объёмом около 120 тыс. токенов может быть представлена всего в 100–200 векторах, в зависимости от размера модели.

Сокращение длины входных данных позволяет значительно уменьшить вычислительные затраты. Чем длиннее текст на входе, тем больше ресурсов требуется для его обработки. Замена длинного контекста на один или несколько векторов ускоряет работу моделей и снижает расходы. В текущих методах сжатие достигает коэффициента 10–100, но исследование показывает, что теоретически возможно сжимать текст в 1,5 тыс. раз.

Одна из ключевых проблем сжатия — обеспечение работы языковой модели со сжатым вектором так же, как с исходным текстом. Здесь важную роль играет энтропия, которая измеряет сложность или «неожиданность» текста для модели. Чем более предсказуем текст, тем ниже его энтропия и тем проще его сжать. Например, бессмысленный набор символов с высокой энтропией сжимается гораздо сложнее.

Теоретически вектор может хранить огромный объём информации в битах. Однако языковая модель работает только с теми векторами, которые она «понимает». На практике используется лишь 10–30% потенциальной ёмкости векторов. Эта избыточность помогает исправлять ошибки в кодировании, но также указывает на недостаточное использование доступного пространства данных.

Учёные использовали градиентный спуск — математический подход, позволяющий подобрать параметры вектора для точного восстановления текста. Этот процесс требует нескольких шагов и пока остается дорогостоящим. Цель исследования — показать возможные пределы сжатия. Авторы призывают научное сообщество разработать методы, которые позволят сжимать тексты в один вектор за один шаг.

Сжатие текста может быть полезно в задачах перевода, анализа больших массивов данных, автоматического реферирования и других областях обработки естественного языка. Улучшение методов сжатия текста может привести к созданию более компактных и быстрых языковых моделей, что особенно важно для мобильных устройств и облачных сервисов.

#Digital #IT и инновации

ООО «Акме»
еще 239 публикаций

Лучшее в блогах

27.11.2025

Новости НРФ’9: официальный журнал доступен в цифровом формате

Позавчера

Итоги конференции Group4Media «Этот год — следующий год. Искусство эффективности»

Позавчера

Кейс UM, Points Lab, АДВ+Эндемика и «Самолет»: как с математической точностью измерить эффективность маркетинга в недвижимости

Позавчера

«Сбер, где всё возможно»: банк создал музыкальный HR-манифест

Вам понравится

NedT Agency

03.12.2025

Спам-клики в Яндекс.Директ: откуда берутся «мусорные клики» и правда ли, что их генерирует сам Яндекс? Разбор мифа

Digital Маркетинг

В окружении Яндекс.Директа последние пару лет ходит устойчивый миф: рекламодатели видят всплески кликов без заявок, бюджет улетает в трубу, а в голове только один вопрос: «Это что, Яндекс сам накручивает клики?». Разбираем подробно, что действительно происходит внутри аукциона, почему создаётся иллюзия спама и как отличить технический трафик от настоящей накрутки.

Normaslov

02.12.2025

Запрет иностранных слов. Как дизайнеру и маркетологу не подставить заказчика под штраф до 500 000 рублей

Digital Маркетинг

В дизайне, брендинге и айдентике запретили иностранные слова: штраф до 500 000 руб. Больше никаких Design Buro и Digital Agency. А еще — фич, стрипсов, бьюти, дентала, чикена и угг. Что это за кринж и где прибавится заказов для дизайнеров — в статье NormaSlov.