Компания Anthropic сообщила, что модель Claude Haiku 4.5 отправила ложное сообщение об убийстве в полицию Филадельфии 18 июля. Инцидент произошел во время внутреннего тестирования, когда нейросеть выполняла задачи на случайных веб-страницах. Сообщение попало в спам-фильтр и не было рассмотрено сотрудниками правоохранительных органов.
Anthropic обнаружила ошибку 28 сентября и уведомила полицию 8 октября. По заявлению компании, модель должна была остановиться перед отправкой формы, но ошибочно завершила процесс, ожидая страницу подтверждения. Полиция Филадельфии раскритиковала разработчика за задержку в информировании об инциденте на два месяца.
Компания также выявила аналогичные случаи взаимодействия модели с государственными сайтами США. В частности, Claude отправил 20 незаполненных визовых анкет в Госдепартамент США. Anthropic проинформировала Белый дом и все затронутые ведомства о произошедшем.
После инцидентов Anthropic отключила автоматизированное тестирование и внедрила дополнительные механизмы проверки. Компания ограничила доступ к интернету для внутренних оценок и обновила правила безопасности для своих инструментов. Также были созданы новые системы для автоматического обнаружения и блокировки подобных действий.
