Microsoft предлагает использовать «агентов-надзирателей» для круглосуточного мониторинга действий других ИИ-агентов. Это решение призвано ограничить риски, связанные с «агентами-инсайдерами», которые часто обладают избыточными правами доступа и могут совершать нежелательные действия в процессе оптимизации результатов.
Автор статьи предлагает альтернативный подход: замену внешнего надзора специально спроектированной средой. Если данные, связи и права описаны в единой модели, агент может работать с правами конкретного пользователя, что исключает необходимость выдачи широких полномочий и снижает потребность в постоянном контроле.
Концепция «устроенной среды» включает три элемента: единый словарь действий, общую модель прав на все данные и сквозной журнал изменений. Это позволяет внедрить детерминированные правила, например, обязательное подтверждение человеком операций по удалению или изменению схемы, что делает систему более предсказуемой.
Анализ известных инцидентов, таких как удаление базы данных в Replit или обход политик в Supabase, показывает, что предложенная среда способна предотвратить подобные сбои. Тем не менее, такие угрозы, как инъекции через данные, остаются актуальными и не блокируются только лишь архитектурными ограничениями.
Автор разрабатывает конструктор Интеграма, где агенты функционируют внутри единой модели прав. В планах — дальнейшее измерение эффективности детерминированного контроля и оценка того, как архитектура среды влияет на количество необходимых подтверждений со стороны человека при выполнении рабочих задач.
