Работа посвящена проблеме недоступности мобильных приложений для незрячих пользователей, взаимодействующих со смартфоном через скринридер VoiceOver. Отсутствие семантической разметки у кастомных UI-компонентов делает значительную часть приложений недоступными. Предложена концепция промежуточного модуля на основе компьютерного зрения, который автоматически детектирует элементы интерфейса, классифицирует их и генерирует accessibility-метки без участия разработчика приложения. Архитектура включает нейронную сеть детектирования (YOLO) и мультимодальный генератор описаний на базе ResNet и Transformer. Подход позволяет ретроактивно повышать доступность уже опубликованных приложений.

Васильев Д.Е. (науч. рук. Государев И.Б.) Разработка модуля детектирования элементов интерфейса для повышения доступности мобильных приложений // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/18050