Цель данной работы — построение модели для автоматической оценки эмоций и валентности на основе аудио, видео и текстовой информации и использовании маскированного внимания модели BERT с целью улучшения качества распознавания. Предварительная обработка каждой из модальностей, разновидности представления информации, используемая модель машинного обучения - все факторы значительно влияют на конечный результат распознавания эмоций. Результатами данной работы являются реализованные модели для распознавания эмоций и оценки валентности, обученные на каждом датасете. Также были улучшены state-ofthe-art результаты по датасетам CMU-MOSEI, MOSI и MELD в задачах распознавания эмоций и оценки валентности при гораздо более простой архитектуре модели по сравнению с SOTA реализациями.

Волошина Т.А. (науч. рук. Махныткина О.В.) Маскированное мультимодальное внимание для распознавания эмоций и оценки валентности // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/11227