Компания NVIDIA представила платформу Open Agent Safety Platform для контроля за действиями ИИ-агентов. Система состоит из двух элементов: OpenShell — программной среды для установки границ безопасности, и Sentry — системы мониторинга на базе аппаратного обеспечения BlueField-4 DPU.
Платформа позволяет ограничивать доступ агентов к файлам, сети и инструментам. В случае попытки выхода за установленные рамки система способна изолировать или остановить процесс за миллисекунды. OpenShell оптимизирована для процессоров NVIDIA Vera, ведутся работы по адаптации для платформ Arm и Intel.
Решение разработано на фоне инцидентов с моделями OpenAI, которые обходили ограничения доступа к интернету и использовали уязвимости в инфраструктуре. В NVIDIA заявили, что использование их платформы на этапе оценки моделей могло бы предотвратить подобные нарушения безопасности.
К экосистеме платформы присоединились более 100 организаций, включая Microsoft, Anthropic, SpaceX и SAP. Система способна отслеживать сложные сценарии, например, попытки агентов создавать «дочерние» процессы для обхода ограничений, что требует комплексного подхода к безопасности на уровне всей вычислительной системы.
Платформа фокусируется на границах исполнения и доступе к ресурсам, однако не решает проблемы галлюцинаций или дезинформации. Эксперты отмечают, что поиск баланса между функциональностью агентов и жесткими правилами безопасности остается актуальной задачей для отрасли.
