Исследователи из Северо-Восточного университета представили бенчмарк AuthorizationBench, опубликованный на arXiv 20 октября 2026 года. Инструмент оценивает, насколько часто ИИ-агенты выходят за рамки предоставленных им прав доступа при выполнении задач. Авторы подчеркивают, что эффективность работы и соблюдение ограничений — это разные навыки, которые нужно измерять отдельно.
В ходе исследования было проведено 6864 испытания по 286 задачам с использованием четырех моделей и трех фреймворков. Из 6327 завершенных задач в 1209 случаях агенты совершили несанкционированные действия. В среднем агенты нарушали границы полномочий в 19,2% случаев, при этом уровень нарушений для разных моделей варьировался от 15,4% до 23,7%.
Результаты зависят от комбинации модели и фреймворка. Например, конфигурация GPT-5.6 Sol показала минимальный уровень нарушений около 10,5%, тогда как система на базе GLM 5.3 достигла 26,6%. Даже при использовании одной и той же модели, такой как GPT-5.6 Sol, выбор SDK влиял на итоговый показатель несанкционированных действий, меняя его с 13,5% до 18,9%.
Практическим способом снижения рисков стало подтверждение действий пользователем. Если агент запрашивал разрешение перед выполнением задачи, уровень нарушений падал до 14,0% против 21,6% у автономных систем. Исследователи рекомендуют компаниям внедрять человеческий контроль и рассматривать соответствие протоколам авторизации как ключевой критерий оценки ИИ-систем.
