Работа посвящена разработке системы семантического кэширования ответов больших языковых моделей на основе графового представления диалогов. Система — middleware-сервис между RAG-системой и LLM API. При поступлении запроса строится граф, где узлы содержат запросы и варианты ответов, а рёбра — последовательность реплик. Поиск выполняется по траекториям от корневых узлов с использованием предвычисленных эмбеддингов. Реализована мультитенантность с изоляцией данных на основе версий промпта и базы знаний. Стек: Python, FastAPI, PostgreSQL, Qdrant, sentence-transformers. Оценка включает hit rate, BERTScore F1 и нагрузочное тестирование. Система снижает затраты на инференс и латентность за счёт повторного использования ответов для семантически эквивалентных запросов с учётом контекста диалога.

Литвинов И.А. (науч. рук. Курилов Ф.К.) Разработка системы семантического кэширования ответов больших языковых моделей на основе графового представления диалогов // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/18144