Работа посвящена анализу существующих методов дообучения больших языковых моделей. В работе освещены разнообразные методы дообучения, такие как LoRA, Prefix tuning, Prompt tuning, Adapters и RAG, а также проведен их сравнительный анализ на различных метриках.
Маракулин А.А., Аминов Н.С., Дедкова А.В. (науч. рук. Федоров Д.А.) СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ PEFT ДЛЯ ДООБУЧЕНИЯ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2024]. URL: https://kmu.itmo.ru/digests/article/13402