В условиях ограниченных вычислительных ресурсов использование компактных мультимодальныхмоделей сопровождается снижением точности при решении узкоспециализированных задач, таких как диагностика заболеваний растений. Предобученные мультимодальные, такие как CLIP, показали высокую эффективность в задачах сопоставления изображений и текстовых описаний за счёт обучения в общем семантическом пространстве. Таким образом, научная проблема заключается в разработке метода повышения точности малой визуально-языковой модели при диагностике заболеваний растений за счёт интеграции внешних знаний и мультимодальных признаков без увеличения числа параметров модели.

Шиян А.С., Ларин А. (науч. рук. Жукова Н.А.) Повышение точности распознавания болезней растений компактной vlm с помощью базы знаний // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16507