В работе предложен комплексный подход адаптации системы на базе wav2vec 2.0, включающий: обучение модели с применением аугментации синтеза шепота из программного обеспечения Praat и доменную адаптацию модели с использованием детектора шепота на уровне эмбеддингов. Оценка качества производится на наборах данных: VoxCeleb1-O и VOiCES, а также специализированные корпуса шепотной речи: wTIMIT, CHAINS, MSP-AVW. Использование комплексного решения обеспечивает снижение ошибок: с 20,71% до 8,11% на наборе данных MSP-AVW и с 18,82% до 6,53% на наборе данных wTIMIT, без значительной потери качества на данных VoxCel

Хмелев Н.А. (науч. рук. Новоселов С.А.) Адаптация ситсем автоматической верификации диктора к домену шепотной речи // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14442