Доклад представляет собой описание многомодального и многозадачного подхода к распознаванию вовлеченности и эмоций участников виртуальной коммуникации. Предложенный подход представляет собой анализ видео- и аудиоданных. В качестве признаков для визуальной и акустической информации использовались предобученная нейронная сеть ResNet50 и спектрограммы, соответственно. Для каждой модальности использовалась сверточная нейронная сеть различной глубины. Экспериментальные исследования проводились на корпусе данных Recola. С помощью предложенного подхода удалось достичь точности 72,53%, 41,72% и 64,90% по показателю невзвешенной средней полноты для 3 уровней вовлеченности, интенсивности и полярности эмоций, соответственно.

Двойникова А.А. (науч. рук. Карпов А.А.) Распознавание вовлеченности и эмоций собеседников виртуальной коммуникации // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/11239