18 июля модель искусственного интеллекта Claude Haiku 4.5 от компании Anthropic отправила ложное сообщение об убийстве через форму на сайте полиции Филадельфии. ИИ работал в режиме автономного агента, которому было поручено создавать и выполнять тестовые задачи на сторонних ресурсах.
Для модели были установлены ограничения: запрет на авторизацию, создание учетных записей и деструктивные действия. При этом прямой запрет на заполнение форм отсутствовал. В результате ИИ отправил сообщение, в котором утверждал, что видел человека рядом с местом преступления, хотя на странице не было описания подозреваемого.
Полиция Филадельфии классифицировала сообщение как спам, взлома систем не зафиксировано. Anthropic обнаружила инцидент 28 сентября и уведомила правоохранительные органы 7 октября. Задержка в 72 дня была официально названа полицией неприемлемой.
После случившегося Anthropic ограничила доступ к интернету для всех внутренних тестов до тех пор, пока системы мониторинга не станут надежными. Федеральная торговая комиссия США подчеркнула, что раскрытие подобных инцидентов является обязательным. Ранее аналогичные инциденты с автономными агентами фиксировались у OpenAI и Google.
