30-летняя жительница округа Ли, Флорида, была арестована после того, как использовала чат-бот Claude в качестве личного дневника. Карли Мишель Хеллер писала в диалогах угрозы в адрес офиса шерифа округа Ли. Система безопасности Anthropic пометила сообщения, после чего сотрудники компании провели ручную проверку и передали информацию правоохранительным органам.
Согласно отчету об аресте, 26 сентября Хеллер написала, что собирается открыть стрельбу в офисе шерифа. На следующий день она сообщила о приобретении нового оружия. Полиция задержала подозреваемую в ее доме в Бонита-Спрингс без инцидентов. В настоящее время ей предъявлено обвинение в письменной угрозе насилием, судебный процесс продолжается.
Политика Anthropic допускает передачу данных пользователей властям без стандартных процедур, если существует риск причинения физического вреда или смерти. Компания использует автоматические системы и ручную модерацию для контроля контента. Инцидент подчеркивает, что чаты с ИИ не являются полностью приватными, так как платформы анализируют переписку в целях безопасности.
Случай вызвал дискуссии о границах конфиденциальности при работе с нейросетями. Юристы отмечают, что дело затрагивает вопросы свободы слова и интерпретации угроз. Параллельно другие компании, включая OpenAI, сталкиваются с судебными исками, в которых их обвиняют в недостаточных мерах по предотвращению реальных угроз насилия, связанных с использованием их технологий.
