Microsoft выпустила расширение для VS Code, которое автоматизирует поиск и устранение уязвимостей в ИИ-агентах. Инструмент run-assert-eval выполняет четыре этапа: Clarity находит сценарии отказов, Assert создает измеримые тесты, Agent Control Specification формирует политику безопасности, а финальный прогон подтверждает эффективность защиты. Весь цикл запускается одной командой.
В ходе демонстрации на примере агента биллинговой поддержки выяснилось, что базовая версия допускала нарушения в 30% случаев во втором сценарии, раскрывая данные клиентов в 12 из 40 диалогов. Инструмент выявил риски проведения операций без проверки личности и утечки данных чужих аккаунтов.
После внедрения политик безопасности на этапах «pre call» и «post call» уровень нарушений снизился до 5,9%. При этом полезность агента сохранилась: количество отказов на правомерных запросах стало нулевым. Система раздельно оценивает безопасность и функциональность, чтобы избежать блокировки всех запросов ради формальной защиты.
Новое решение сокращает разрыв между обнаружением проблемы и подтверждением её исправления. Инструменты Assert и Agent Control Specification уже доступны в open source. Расширение поставляется с 7 проработанными областями применения и 14 наборами рисков для тестирования агентов.
