В работе исследуется применение промежуточных представлений визуальных языковых моделей (VLM) для сегментации и детекции объектов на сложно структурированных изображениях с малым количеством экземпляров. Основное внимание уделено анализу фасадов архитектурных сооружений Санкт-Петербурга для выявления стадий эрозии и разрушений. Рассмотрены ограничения традиционных методов, основанных на нейросетях YOLO и SegFormer, и предложен альтернативный подход с использованием VLM и обучения с открытым словарём. Метод позволяет моделям обобщать новые категории объектов, что улучшает точность обработки сложных изображений.

Топольницкий А.А. (науч. рук. Михайлова Е.Г.) Исследование применения промежуточных представлений визуальных языковых моделей (vlm) для задач сегментации и детекции объектов с малым количеством экземпляров на сложно структурированных изображениях // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14391