Современные глубокие нейронные сети требуют высокого потребления памяти и больших вычислительных нагрузок. Развертывание крупных сверточных нейронных сетей на мобильных телефонах или микрокомпьютерах часто является недопустимым с точки зрения времени и занимаемого пространства. Алгоритмы оптимизации структуры нейронных сетей могут уменьшить объем занимаемой памяти и время вывода в условиях ограниченных ресурсов. В данной работе исследуются два подхода к оптимизации структуры сверточных нейронных сетей: мягкий прунинг фильтров и сингулярное разложение матрицы весов с последующей подрезкой спектра. Результатом работы является программный модуль оптимизации структуры сверточных нейронных сетей во время их обучения, позволяющий эффективно сжимать сверточные модели.
Литвинцева А.В., Ревин И.Е. (науч. рук. Никитин Н.О.) Сжатие сверточных нейронных сетей с использованием матричного разложения весов и прунинга фильтров // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2023]. URL: https://kmu.itmo.ru/digests/article/11295