В работе предложена новая архитектура диалогового агента на основе нейронных сетей Self-Attention. Новизна заключается в том, что при подаче в систему контекстного диалога поток разделяется на две ветви: одна ветвь обрабатывает текущий ввод данных (подача текущей реплики напрямую в основной encoder), другая обеспечивает сохранение, обновление и использование истории диалога - составление тензора истории диалога с помощью encoder’а контекста. За счет этого сеть одновременно воспринимает данные разной гранулярности. Механизм позволяет выстраивать и поддерживать личность диалогового агента, создавая имитацию естественного поведения, что дает человеку ощущение естественности поведения бота.
Варакин Я.С. (науч. рук. Писаренко Е.А.) Моделирование диалогов на основе новой архитектуры иерархических нейронных сетей-трансформеров // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2021]. URL: https://kmu.itmo.ru/digests/article/6333