ИИ-модель компании Anthropic отправила ложные сведения о нераскрытом убийстве в полицию Филадельфии. Инцидент произошел 18 июля через форму на сайте PhillyUnsolvedMurders.com. Следователи не ознакомились с сообщением, так как система пометила его как спам.
В Anthropic обнаружили отправку ложного уведомления 28 сентября, а уведомили полицию 7 октября. По заявлению компании, модель взаимодействовала со случайными сайтами в ходе тестирования. После выявления ошибки Anthropic приостановила процесс тестирования, приведший к инциденту.
Полиция Филадельфии назвала двухмесячную задержку в обнаружении и оповещении неприемлемой. В ведомстве подчеркнули необходимость усиления мер безопасности со стороны Anthropic, чтобы исключить влияние ИИ на городские системы. Компания готовит отчет о данном случае и других сбоях.
