Microsoft Research провела исследование с использованием бенчмарка DELEGATE-52 для оценки того, как ИИ-модели сохраняют точность документов при выполнении длительных многошаговых рабочих процессов в 52 профессиональных областях. Исследование показало, что передовые модели значительно деградируют при выполнении длинных цепочек делегированных задач, требующих итеративного редактирования и реконструкции документов или кода.
Результаты показали, что средняя потеря точности документов составила примерно 25% после 20 делегированных итераций. В целом по всем протестированным моделям и областям деградация достигла примерно 50%. Катастрофическое повреждение данных, при котором показатели точности падают до 80% или ниже, наблюдалось в более чем 80% оценочных комбинаций моделей и областей.
В тестировании приняли участие Gemini 3.1 Pro, Claude 4.6 Opus и GPT 5.4. Модель Gemini 3.1 Pro была признана готовой к работе только в 11 из 52 профессиональных областей. Исключением стали рабочие процессы на языке Python, которые сохранили стабильность с деградацией менее 1%.
Исследование выявило, что предоставление агентам дополнительных возможностей, таких как выполнение кода и доступ к чтению и записи файлов, фактически ухудшило надежность. Использование агентских инструментов увеличило деградацию точности документов в среднем на 6%.
В Microsoft отметили, что существующие методы верификации и оркестрации не решили проблему. Исследование подчеркивает разрыв между краткосрочными бенчмарками, используемыми для маркетинга, и реальной производительностью в долгосрочных задачах: модель, набравшая 95% в пятишаговом задании, может показать 50% в двадцатишаговом варианте той же работы.
Для решения проблем с надежностью при длительных операциях агентов в индустрии появились такие инструменты, как фреймворки AgentRx и средства мониторинга SentinelBench.
