В последние годы мультимодальные модели машинного обучения демонстрируют выдающиеся результаты в задачах сопоставления изображений и текста. Однако их архитектура создает новые векторы уязвимостей, в частности, для бэкдор-атак, когда модель обучается на отравленных данных с внедренным триггером. Существующие методы защиты, разработанные для унимодальных моделей, оказываются неэффективными из-за сложности кросс-модальных взаимодействий. В данной работе предлагается новый метод обнаружения бэкдор-атак, основанный на анализе аномалий в пространстве совместных эмбеддингов и внимании между модальностями.

Кунгурова А.А. (науч. рук. Коржук В.М.) Разработка метода обнаружения бэкдор-атак в мультимодальных моделях машинного обучения // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/17080