Учёные Сбербанка нашли способ снизить галлюцинации ИИ-моделей
Исследование посвящено проверке корректности ответов ИИ в RAG-системах, которые являются важной частью современных мультиагентных решений.
Результаты опубликованы в статье «Эффективные мета-модели для оценки вопросов и ответов Больших языковых моделей на основании контекста» (Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs).
Одна из ключевых проблем LLM — склонность выдавать убедительные, но фактически ложные ответы. Сегодняшние методы борьбы с этим основаны на обучаемых алгоритмах, которым требуется огромное количество размеченных данных, что делает их внедрение затратным.
Исследователи Сбербанка предложили альтернативу: они протестировали существующие подходы и разработали метамодели, которые позволяют повысить точность выявления недостоверных ответов почти на 30%. Для этого достаточно всего 250 обучающих примеров — в несколько раз меньше, чем необходимо большинству аналогичных решений.
Наше исследование меняет подход к оценке ответов искусственного интеллекта. Мы показали, что даже при небольшом объеме данных можно добиться высокой точности ИИ-систем. Это особенно важно для индустриальных решений, где разметка требует дополнительных ресурсов. Предложенный нами способ использует метамодели и умное понижение размерности — это прорыв в детекции галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям.
Глеб ГусевДиректор Центра практического искусственного интеллекта Сбербанка
Новый метод снижает нагрузку на компании в части подготовки и разметки данных и делает RAG-системы более надежными. В итоге разработчики получают инструмент для точной оценки работы языковых моделей, а пользователи — более достоверные результаты от ИИ.
По материалам cnews.ru.
Неделя рекламы
Энциклопедия обмана