В данном исследовании проведён анализ использования адаптера в виде трансформера для дообучения мультимодального агента для решения задач обучения с подкреплением. При анализе в качестве сравнения был использован адаптер в виде архитектуры FiLM, а также две опорных сети (VPT и SigLIP2) для извлечения признаков из наблюдений. Результаты показали, что адаптер с архитектурой трансформера, в сравнении с архитектурой FiLM, стабилен при обучении и эффективен при слиянии признаков разных модальностей. При сравнении опорных сетей лучший результат дала модель на основе SigLIP2. На валидационной выборке данных для SigLIP2 значение функции потерь в виде перекрёстной энтропии оказалось ниже на 10%, а средняя абсолютная ошибка была ниже на 21% в сравнении с VPT.

Козин Р.А. (науч. рук. Щербаков О.В.) Дообучение агентов для решения задач обучения с подкреплением при помощи адаптеров-трансформеров // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16470