Воробьев Л.Г., Бравичев К.А. (науч. рук. Бравичев К.А.) Разработка алгоритма семантико-графовой оценки и адаптивного распределения текстовых фрагментов для расширения контекстного окна малых языковых моделей
Языковые модели активно внедряются в индустрию разработки компьютерных игр: написание программного кода, генерация нарративных описаний и другие задачи. Наиболее доступными решениями являются малые языковые модели, однако они ограничены фиксированным контекстным окном и склонны к галлюцинациям. Стандартные подходы, такие как RAG и традиционные стратегии вытеснения (FIFO/LRU), не решают проблему сохранения семантической связности. Поэтому был разработан алгоритм, который на основе косинусного сходства и расчёта расстояний между сущностями в графах позволяет ранжировать текстовые фрагменты и оставлять в видеопамяти наиболее ценные для текущего контекста, а все остальные — выгружать в оперативную память для будущих итераций, расширяя эффективное контекстное окно для текущего диалога.
Воробьев Л.Г., Бравичев К.А. (науч. рук. Бравичев К.А.) Разработка алгоритма семантико-графовой оценки и адаптивного распределения текстовых фрагментов для расширения контекстного окна малых языковых моделей // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16683