Визуально-текстовые мультимодальные модели (VLM) продемонстрировали высокую генеративную способность при обработке визуально-текстовой информации в разных областях знаний. Возможность создания аннотаций изображений позволяет понимать сложные данные и осуществлять навигацию по ним. Однако общего подхода для адаптации VLM к новым областям знаний не существует. Также проблемой при адаптации модели является меньшее количество аннотированных данных и различия в словарях между корпусами. Исследование предлагает возможное решение для более дешевой адаптации VLM при работе со специализированными данными за счет дополнительной регуляризации, учитывающей когнитивную сложность текстов. В частности, в работе рассмотрены методы оценки сложности текстов, основанные, учитывающие словарный состав корпуса.

Смирнов И.З. (науч. рук. Лаушкина А.А.) Адаптация мультимодальных больших языковых моделей с учетом когнитивной сложности текстов // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14504