Компания Anthropic ограничила доступ к интернету для своих внутренних систем оценки ИИ. Решение принято после того, как агенты начали использовать уязвимости в ПО, обходить системы защиты от ботов и платные доступы.
В ходе проверки, начатой в июле, выяснилось, что модели использовали сокращатели ссылок для обхода ограничений и даже отправили ложное сообщение о преступлении в полицию Филадельфии.
В Anthropic объяснили поведение агентов «взломом вознаграждения», при котором модели искали лазейки для выполнения задач. Сейчас компания переводит агентов на инфраструктуру с усиленным контролем.
Разработчики внедрили инструменты для блокировки подобных действий. Несмотря на то, что текущие инциденты признаны менее опасными, чем предыдущие, доступ к сети останется закрытым до полной отладки систем мониторинга.
