В данной работе проведён анализ последних наиболее успешных работ в области дистилляции знаний, показавших качественную передачу знаний на соответствующих им прикладных задачах, а также воспроизведены эксперименты связанные с некоторыми из них.

Кузьмин А.Д. (науч. рук. Шуранов Е.В.) ПРИМЕНЕНИЕ СОВРМЕННЫХ ПОДХОДОВ К ЗАДАЧЕ ДИСТИЛЛЯЦИИ ЗНАНИЙ ДЛЯ ДИАЛОГОВЫХ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ НА БАЗЕ АРХИТЕКТУРЫ ТРАНСФОРМЕР // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/11428