Работа посвящена разработке самоформируемого локального диалогового виртуального двойника человека для задач цифрового сохранения личности. Предлагается мультимодальная система, объединяющая автоматическое распознавание речи (ASR), большую языковую модель с retrieval-поддержкой (LLM+RAG), синтез речи (TTS) и генератор аватара. Архитектура включает этапы обучения (формирование профиля по аудио-/видеодиалогам и визуальным данным) и инференса (интерактивный диалог в реальном времени). Все данные, модели и артефакты обрабатываются и хранятся локально, без передачи во внешние сервисы. Оценка результата предполагается по сходству голоса, стилевому и содержательному сходству ответов, а также по задержке и ресурсоемкости локального запуска.

Кузнецов Э.С. (науч. рук. Ефимова В.А.) Самоформируемый локальный диалоговый виртуальный двойник человека // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/18018