Данная работа посвящена практическому исследованию методов сжатия моделей глубокого обучения со смесью экспертов (MoE) через слияние экспертов. В центре внимания — задача идентификации и объединения пар экспертов, демонстрирующих высокую корреляцию активации. В данной работе экспериментально тестируется подход, основанный на анализе совместной активности экспертов, и предлагается метод их попарного слияния, который минимизирует отклонение выходов от оригинальной модели. Предварительные результаты подтверждают, что такой подход позволяет значительно сократить количество активных параметров модели с минимальной деградацией её внутренних состояний, что является критически важным шагом на пути к ускорению работы MoE-моделей. Исследование вносит вклад в быстроразвивающуюся область оптимизации р

Пакульневич К.М., Бессонницын Е.С. (науч. рук. Муравьёв С.Б.) Разработка метода слияния экспертов в архитектурах генеративных моделей на основе mixture of experts // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/16485