Аннотация Разработан и исследован подход к автоматизации проверки достоверности фрагментов ответов LLM на основе сопоставления утверждений с информационными контекстами (релевантными текстовыми источниками). Проверяется степень подтверждённости фактов: «подтверждён» при полном совпадении, «частично подтверждён» при совпадении более 50%, «не подтверждён» при отсутствии достаточных подтверждений. Подход включает дистилляцию, RL и LLM-as-a-judge и нацелен на снижение времени разметки с 7–8 до 3–4 минут и повышение качества (F1/Precision/Recall) выше 0.85 при удовлетворённости > 70%. Ключевые слова Информационные контексты, достоверность, подтверждённость, разметка, LLM, проверка фактов, дистилляция, RL, LLM-as-a-judge.

Новицкий И.А. (науч. рук. Ефимова В.А.) Разработка инструмента анализа информационных контекстов и исследование методов, направленных на ускорение и повышение качества текстовой разметки // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16025