Доклад посвящен проблеме катастрофического забывания при дообучении больших языковых моделей (LLM) для специализированных областей, в частности медицины. Предлагается метод параметрически-эффективной настройки (PEFT) с использованием динамической модели-учителя, обновляемой методом экспоненциального скользящего среднего. Экспериментально на модели Qwen2-1.5B показана эффективность метода в балансировке между качеством дообучения на новых данных - датасете формата "описание-заключение" результатов тонкоигольной аспирационной биопсии (ТАБ) узлов щитовидной железы и сохранением общих когнитивных способностей(бенчмарк MMLU) по сравнению со стандартными подходами к дообучению генеративных больших языковых моделей.

Свириденко Д.К. (науч. рук. Zaytsev K.S.) Снижение эффекта катастрофического забывания при дообучении больших языковых моделей на данных медицинского домена с использованием метода экспоненциального сглаживания // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16269