Работа посвящена исследованию сложности графов инструментов, используемых в бенчмарках для мультиагентных LLM-систем. Предлагается оценивать сложность через топологические паттерны подграфов (chain, star, tree, cycle, hourglass и др.). Выполнен топологический анализ существующего бенчмарка, после чего для выделенных подструктур были сгенерированы пользовательские запросы, требующие вызова соответствующих инструментов. Проведены эксперименты по выбору инструментов и восстановлению зависимостей между ними. Показано, что структура подграфа влияет на сложность задач Tool Calling и может использоваться как предиктор сложности бенчмарков.

Файрушин Б.Р., Исхаков К.Ф., Амерханова Н.А. (науч. рук. Калюжная А.В.) Исследование топологии графов инструментов как метрики сложности бенчмарков для мультиагентных llm-систем // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/17715