Исследование направлено на усовершенствование пайплайна подготовки синтетических аудиоданных с перекрывающейся речью для предобучения NSD-MS2S нейронной модели диаризации. Ограниченность натуральных сетов приводит к переобучению таких моделей, поэтому возникает задача генерации реалистичных синтетических данных. Однако традиционные методы генерации воспроизводят естественную разговорную динамику и акустическую изменчивость не в полной мере. Для подготовки синтетических данных предлагается отбирать импульсные характеристики комнаты (RIR), а также моделировать перемещение дикторов. В конкурсе CHiME-8 Challenge полученные таким методом синтетические данные позволили снизить частоту ошибок диаризации у предобученной модели на 5-20%.

Тимофеева Т.Н. (науч. рук. Романенко А.Н.) Синтетические данные для предобучения нейронной диаризации nsd-ms2s в конкурсе chime8 // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14543