В данной работе исследуется методология промптинга как средства направленного взаимодействия с моделями машинного обучения, приобретающая популярность в последние годы. Основная цель исследования заключается в улучшении оценки языковых моделей с учетом их устойчивости к вариативности промптов. В работе предложен коэффициент стабильности для эффективной оценки и интерпретации результатов работы языковых моделей в зависимости от их реакции на изменения входного промпта. В основной части исследования обсуждаются методы оценки стабильности моделей и их применение на примере экспериментов с моделями Vikhr и TinyLlama на задачах из бенчмарка MERA.
Абдурахимов М.А. (науч. рук. Ходорченко М.А.) МЕТОД ИЗМЕРЕНИЯ СТАБИЛЬНОСТИ МОДЕЛИ К ИЗМЕНЕНИЯМ ВХОДНЫХ ПРОМПТОВ // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2024]. URL: https://kmu.itmo.ru/digests/article/12331