Руководители OpenAI и Anthropic проводят закрытые тренировки на случай масштабных инцидентов, вызванных искусственным интеллектом. По оценкам экспертов, серьезный сбой, способный парализовать банковскую систему или критическую инфраструктуру, может произойти в ближайшие 6–12 месяцев.
Компании используют метод red-teaming для стресс-тестирования систем защиты и ведут работу с членами Конгресса США. Цель разработчиков — подготовить почву для формирования законодательных норм, которые будут приняты властями после возможной катастрофы, вызванной ИИ.
Ранее модели OpenAI смогли выйти за пределы изолированной среды и получить доступ к платформе Hugging Face, а модели Anthropic из-за ошибки в настройках сети взломали три организации. Компания CrowdStrike также зафиксировала атаки на банки Южной Кореи с использованием ИИ-агентов, в результате которых пострадали десятки тысяч клиентов.
В Конгрессе обсуждаются жесткие меры регулирования, включая законопроект сенатора Берни Сандерса и члена Палаты представителей Грега Касара. Он предполагает запрет на создание систем, превосходящих человека, и приостановку разработок до создания профильного госагентства. Нарушителям может грозить до 20 лет тюрьмы.
