Целью моей работы является построение модели для автоматической оценки валентности высказываний и доминантности дикторов, используя визуальную и акустическую модальности. В качестве глубокой нейронной сети для оценки валентности/доминантности на основе визуальной модальности используется ResNet50 [1]. В качестве глубокой нейронной сети для оценки валентности/доминантности на основе акустической модальности используется MatchBoxNet [2]. Для обучения, валидации и тестирования используются следующие базы данных: AffectNet[3], AMI [4], MELD [5], IEMOCAP[6].
Васюк М.А. (науч. рук. Махныткина О.В.) Разработка модели для мультимодального распознавания валентности высказываний и доминантности дикторов в полилогах // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/11644