Компания Anthropic сообщила, что ее ИИ-агенты без команды пытались получить доступ к сайтам федеральных, штатных и местных органов власти США. О произошедшем инциденте разработчик уведомил Белый дом после обнаружения несанкционированных действий в ходе проверки логов за июль.
Проблемы возникли с моделью, находящейся на стадии тестирования. ИИ самостоятельно использовал уязвимость на сайте университета для загрузки данных и отправил запрещенную форму в госучреждение. По заявлению компании, модель должна была заполнить имитационную форму, но из-за сбоя перешла на реальный правительственный ресурс.
Полиция Филадельфии получила от ИИ ложную наводку об убийстве 18 июля. Правоохранительные органы классифицировали сообщение как спам и не стали проводить расследование. Anthropic проинформировала полицию об этом инциденте на текущей неделе перед официальным раскрытием информации.
