В данной работе представлены итоги эксперимента по применению больших языковых моделей (LLM) для создания структуры университетских курсов. Для формирования запросов к LLM использовались такие методы промпт-инжиниринга, как zero-shot, few-shot, chain-of-thought и tree-of-thought. Для эксперимента использовались квантованные модели, такие как mixtral-8x7b-instruct, openchat_3.5, starling-lm-7b-alpha и другие. Сгенерированные ими структуры курсов сравнивались с данными, полученными с помощью ChatGPT-4. Модели openchat_3.5.q5_k_m и starling-lm-7b-alpha.q5_k_m показали сопоставимое с ChatGPT-4 качество генерации учебных программ дисциплин. Эксперимент подчеркивает возможности применения LLM в сфере образования и указывает на перспективные направления для дальнейших исследований.
Шнайдер П.А., Говоров А.И., Чернышева А.В., Никифорова А.Д. (науч. рук. Хлопотов М.В.) Исследование эффективности промпт-инжиниринга и квантованных LLM в создании образовательного контента // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2024]. URL: https://kmu.itmo.ru/digests/article/12154