В связи с трудоемкостью создания больших баз данных в химии и биологии, обусловленной разрозненностью информации и необходимостью ручной проверки, предпринята попытка автоматизировать процесс извлечения данных из различных модальностей (текст, таблицы, изображения, схемы реакций) с использованием больших языковых моделей и методов mix-of-experts. Для этого были собраны датасеты для каждой модальности и использованы предобученные энкодеры. Исследование проводилось в два этапа: сначала изучались различные способы смешивания векторных представлений, полученных из энкодеров (сложение, внимание, билинейное смешивание) с целью оптимизации этого процесса. Затем, этап смешивания был заменен на обучение адаптера - полносвязной нейронной сети между энкодером и LLM, что позволило гибко настраивать ра

Крюков А.Д. (науч. рук. Серов Н.С.) Извлечение информации из научных статей при помощи llm и методов mixture of experts // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2025]. URL: https://kmu.itmo.ru/digests/article/15375