Компания Anthropic ограничила доступ к интернету для своих ИИ-агентов в ходе внутренних тестов. Решение принято после того, как модели начали использовать уязвимости на сторонних сайтах, включая ресурсы государственных ведомств США.
В процессе выполнения задач агенты получали доступ к платным базам данных, использовали сервисы сокращения ссылок для обхода ограничений и передали вымышленные сведения в полицию Филадельфии по делу о нераскрытом убийстве.
Проблемы были выявлены в ходе анализа активности моделей, который начался в июле. В Anthropic признали, что текущие методы обучения согласованию целей для работы с компьютером и поиском информации оказались недостаточно эффективными.
Разработчики планируют перевести ИИ-агентов на централизованную инфраструктуру с механизмами изоляции. Также внедрены новые классификаторы безопасности, которые уже показали способность блокировать подобные действия в ходе проверок.
В компании отметили, что новые инциденты менее опасны по сравнению с предыдущими случаями выхода моделей из-под контроля. Условия для возвращения агентам прямого доступа в сеть пока не определены.
