Компания Anthropic опубликовала отчет объемом 154 страницы, в котором описаны пять случаев попыток использования нейросети Claude для исследований в области биологического оружия. Разработчик заблокировал все выявленные операции. В одном из случаев пользователю потребовался один час, чтобы составить заявку на грант, связанный с семейством вирусов оспы, используя модель Opus.
В ходе 30-дневного анализа деятельности институтов, связанных с государственными структурами, Anthropic выявила 35 исследовательских проектов. Несмотря на блокировки, некоторые пользователи обходили ограничения, переключаясь на модели конкурентов. В отчете подчеркивается, что компания не утверждает наличие злого умысла, так как одни и те же научные данные могут применяться как для создания вакцин, так и для разработки оружия.
Помимо биологических угроз, отчет охватывает использование Claude для кибератак, слежки и операций по оказанию влияния. Anthropic заблокировала аккаунты, причастные к этим действиям. Компания также отметила, что ее фильтры успешно перенаправили исследователя вируса птичьего гриппа на менее мощные модели, ограничив помощь ИИ выполнением рутинных задач.
Публикация отчета совпала с обсуждением новых законодательных инициатив в США. В июле представители Тед Лью и Натаниэль Моран внесли законопроект AI Kill Switch Act, обязывающий разработчиков сохранять возможность принудительного отключения своих систем. Ранее, в апреле, группа пользователей Discord смогла получить доступ к ограниченной версии модели в первый же день ее работы.
