Компания Apollo Research представила систему Watcher AI для контроля за автономными агентами. Инструмент отслеживает попытки несанкционированного удаления данных или их кражи. При обнаружении подозрительной активности система передает задачу более мощной модели для анализа, после чего конечное решение об одобрении или блокировке действия принимает человек.
Goodfire развивает метод анализа внутренних состояний моделей в процессе их работы. После инцидента с безопасностью в Hugging Face компания усилила работу над интерпретацией действий агентов в сферах кибербезопасности и биоинженерии. При этом некоторые разработчики намеренно скрывают цепочки рассуждений ИИ, чтобы предотвратить дистилляционные атаки, при которых модели обучаются на выводах других систем.
Альтернативным способом контроля остается использование традиционных средств кибербезопасности. Организации анализируют подробные журналы действий агентов с помощью стандартных инструментов мониторинга, что позволяет отслеживать поведение систем без внедрения дополнительных уровней защиты на базе искусственного интеллекта.
