Актуальным направлением исследования возможности семантического поиска является мультимодальный поиск. В работе было проведено сравнение подходов к мультимодальному поиску для выбора модели для исследования. По результатам анализа существующих решений для работы была выбрана модель Colpali. Для генерации набора данных для её обучения была собрана техническая документация и обучающая литература, а релевантные запросы к документам были сгенерированы с использованием модели GigaChat Max. Модель Colpali была обучена на полученном наборе данных, значение функции ошибок снизилось с 0,2952 до 0,1973. Таким образом, в ходе дообучения модели повысилось качество её работы с русскоязычными документами.

Юхневич Е.Д. (науч. рук. Маслюхин С.М.) Обучение мультимодальной модели поиска для работы с русскоязычными данными // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/14697