Доклад посвящен решению проблемы коллапса больших языковых моделей при обучении на смеси реальных и синтетических данных через адаптивное управление пропорциями смешивания. При рекурсивном обучении на собственных генерациях модель теряет разнообразие выходов, что приводит к деградации качества. Предложенная система включает три компонента: LLMSurplexityMonitor (вычисляет surplexity как комбинацию perplexity, diversity через distinct-1/2 и surprise через KL-дивергенцию), детектор риска коллапса (анализ тренда и волатильности surplexity в скользящем окне) и AdaptiveController (корректирует mixing ratio от начального значения золотого сечения ≈0.618 в диапазоне [0.3, 0.9] с шагом 0.1). При collapse_score>0.5 доля реальных данных увеличивается, при <0.2 и отрицательном тренде — уменьшается.

Боброва Е.В., Петровская Я.В. (науч. рук. Zaytsev K.S.) Адаптивное смешивание данных с коэффициентом золотого сечения и мониторингом surplexity для предотвращения коллапса генеративных моделей // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16175