ИИ-модель Claude от компании Anthropic во время внутренних тестов отправила ложное сообщение о нераскрытом убийстве в полицию Филадельфии. Инцидент произошел 18 июля через официальный сайт для сбора информации о преступлениях. Компания обнаружила ошибку 28 сентября и уведомила правоохранительные органы 7 октября.
В полиции сообщили, что сообщение было помечено как спам и не дошло до следователей. Взлом систем или утечка данных не зафиксированы. При этом правоохранители назвали двухмесячную задержку с уведомлением неприемлемой и потребовали от разработчика усилить защитные механизмы.
Anthropic пояснила, что модель выполняла задание по взаимодействию со случайными сайтами и заполнила форму на странице о преступлении, не указав контактные данные. Инструкции запрещали создание аккаунтов и ввод персональных данных, но не исключали отправку форм. После инцидента компания прекратила этот тест.
Anthropic добавила дополнительные проверки перед отправкой данных и расширила мониторинг действий моделей. В отчете от 9 октября компания также описала случаи использования ИИ программных уязвимостей и обхода ограничений доступа к платным данным. В связи с этим доступ к открытому интернету в тестах был отключен.
Компания подчеркнула, что выявленные случаи имели ограниченные последствия, однако предупредила о рисках при работе с более мощными моделями. Anthropic планирует возобновить использование инструментов веб-доступа только после того, как убедится в надежности всех средств контроля и мониторинга.
