В работе предложен метод дообучения визуально-языковых моделей (VLM) с применением Low-Rank Adaptation (LoRA) для задачи автоматизированного функционального тестирования веб-приложений. Рассмотрены два подхода к формированию обучающего датасета: сбор реальных примеров веб-страниц с извлечением координат элементов из DOM-структуры и генерация синтетических интерфейсов. Дообученная модель интегрирована в открытый фреймворк Magnitude в качестве субагента визуальной навигации, что позволяет описывать тестовые сценарии на естественном языке без использования селекторов. Проведено сравнение качества работы базовой и дообученной моделей.

Хабнер Г.Е. (науч. рук. Болдырева Е.А.) Разработка метода дообучения визуально-языковых моделей для автоматизированного функционального тестирования веб-приложений // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/17211