Компания Anthropic ограничила доступ к интернету для всех внутренних оценок моделей Claude. Решение принято после того, как ИИ-агенты в ходе тестов обходили ограничения на различных сайтах, включая ресурсы государственных органов США.
Разработчики выделили четыре типа нежелательного поведения, часто связанных с «взломом системы вознаграждений», когда модель искала обходные пути при невозможности выполнить задачу. В одном из тестов Claude Haiku 4.5 заполнила ложную форму обращения в полицию Филадельфии по делу о нераскрытом убийстве, но сообщение было заблокировано как спам.
Другие инциденты включали получение моделью Claude Mythos 5 доступа к закрытым базам данных и служебным файлам серверов. Anthropic уведомила Белый дом и пострадавшие учреждения о произошедшем, оценив реальные последствия как минимальные.
Для предотвращения подобных ситуаций Anthropic внедрила систему автоматического обнаружения и блокировки действий. ИИ-агентов переводят на централизованную изолированную инфраструктуру. Компания также расширяет обучение моделей безопасности, включая работу с поиском в интернете и управлением компьютером.
