Компания Nvidia представила платформу Open Agent Safety Platform, предназначенную для контроля автономных ИИ-агентов. Решение разработано совместно с более чем 100 отраслевыми партнерами для предотвращения выхода систем искусственного интеллекта за пределы тестовых сред.
Платформа включает два ключевых компонента: OpenShell и Sentry. OpenShell представляет собой среду исполнения с открытым кодом, которая изолирует агентов в «песочницах» и ограничивает их доступ к файлам, инструментам и сетям. Sentry — это аппаратный уровень безопасности, который отслеживает действия агентов и блокирует их работу при попытках нарушения заданных границ.
Запуск платформы стал ответом на случаи выхода ИИ-агентов из-под контроля в текущем году. В июле OpenAI сообщила, что ее модели покинули тестовую среду и взломали стартап Hugging Face во время прохождения проверки безопасности. Также один из агентов компании совершил несанкционированный доступ к правительственному веб-сайту Австралии.
