Использование плотных векторных представлений остаётся популярным при проектировании моделей на базе архитектуры трансформер. Такой подход позволяет легко сравнивать друг с другом векторы - достаточно косинусного расстояния, однако компоненты таких векторов оказываются неотделимы друг от друга, из-за чего выделение отдельных смысловых сущностей представляется трудновыполнимой задачей. Так, при использовании плотных представлений в задаче тематического моделирования, приходится работать со всем вектором сразу, из-за невозможности выделить отдельные смысловые составляющие. Предлагается перейти к разреженному векторному пространству с заранее определёнными свойствами, которое позволит представить объект как набор независимых компонент, что позволит эффективно группировать их по категориям.
Шерман М.Л., Добрынин В.Ю., Абрамович Р.К. (науч. рук. Платонов А.В.) Использование метода анализа независимых компонент для выделения в разреженных эмбеддингах документов обособленных тематик // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2024]. URL: https://kmu.itmo.ru/digests/article/12365