В последние годы архитектура RAG, позволяющая сочетать преимущества языковых моделей с возможностью извлечения релевантной информации из внешних источников, стала одним из ключевых направлений в области обработки естественного языка. Разработка эффективных решений, использующих RAG-архитектуру, требует комплексной оценки ее составляющих. В англоязычных источниках существуют специализированные методы оценки - бенчмарки, предназначенные для оценки точности генерации ответов на основе внешних данных. Существует недостаток исследований по оценке производительности русскоязычных коммерческих моделей в контексте RAG. В данной работе представлен подход к анализу производительности некоторых популярных русскоязычных LLM в RAG с использованием бенчмарка CRAG.

Титоренко А.А., Иванов О.А. (науч. рук. Бойцев А.А., Романов А.А.) Подход к оценке коммерческих русскоязычных llm для использования в rag архитектуре на основании бенчмарка crag // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14838