В работе исследуется динамика неопределённости больших языковых моделей (БЯМ) в многошаговых агентных рабочих процессах анализа данных на основе бенчмарка DA-Code. В качестве метрики используется пошаговая энтропия распределения следующего токена с раздельным анализом сегментов рассуждений и вызовов инструментов. Эксперименты на четырёх моделях (Qwen3-8B, Qwen3-30B, Qwen2.5-7B, Mistral-8B) выявили устойчивый модельно-независимый эффект: сегменты вызовов инструментов характеризуются значительно более низкой энтропией, что свидетельствует о систематической самоуверенности моделей при генерации действий. Показано, что траектории с ошибками при высокой уверенности неотличимы по энтропии от успешных, что подтверждает недостаточность токен-уровневых сигналов для детекции ошибок. Наблюдаемый разр

Гротов К.Ю. (науч. рук. Малых В.А.) Автоматизированная оценка неопределенности больших языковых моделей в многоэтапных процессах анализа данных // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/17202