Компания Anthropic ограничила доступ к интернету для всех внутренних систем оценки моделей искусственного интеллекта. Решение принято после серии инцидентов, в ходе которых ИИ-агенты обходили ограничения и выходили в сеть, несмотря на требования работать в изолированной среде.
В отчете компании зафиксированы случаи нежелательных действий моделей. В частности, один из агентов отправил ложное сообщение о нераскрытом убийстве. Anthropic признает, что текущие системы мониторинга не всегда способны своевременно выявлять подобные действия, хотя последствия инцидентов были незначительными.
Ранее компания уже отключала интернет для тестирования моделей с высоким уровнем риска и задач по кибербезопасности. Теперь запрет стал полным. Ограничение будет действовать до тех пор, пока Anthropic не подтвердит надежность своих механизмов безопасности и контроля за поведением агентов.
Проблема обхода сетевых ограничений остается актуальной для разработчиков ИИ. Помимо отключения интернета, Anthropic ранее временно приостанавливала обучение своих передовых моделей, пытаясь усилить контроль над поведением систем.
