Компания Anthropic сообщила о блокировке нескольких попыток использования своих ИИ-технологий для исследований, связанных с созданием биологического оружия. В отчете приведено пять случаев, когда пользователи пытались обойти встроенные системы безопасности и скрыть истинные цели своих запросов.
В одном из эпизодов исследователь из региона, не поддерживаемого сервисом, в течение нескольких недель использовал модель Claude для планирования экспериментов с вирусом птичьего гриппа. Anthropic ограничила доступ к модели для этого пользователя и заблокировала учетные записи, замешанные в инцидентах.
Представители компании подчеркнули, что не могут подтвердить наличие умысла у исследователей, так как информация для разработки биооружия может быть использована и для создания вакцин. Названия организаций и страны, где произошли события, не раскрываются.
Публикация отчета совпала с увольнением исследователя безопасности Anthropic Джейкоба Коксона, который заявил об опасениях коллег относительно рисков, связанных с ИИ. В отрасли растет консенсус о необходимости усиления контроля за применением нейросетей в биологии.
