Ведущие лаборатории искусственного интеллекта, включая OpenAI и Anthropic, разрабатывают планы действий на случай катастрофических инцидентов с участием ИИ. Компании проводят учения и моделируют различные сценарии, чтобы подготовиться к рискам, которые, по мнению экспертов, могут проявиться в ближайшие 6–12 месяцев.
Опасения вызваны угрозами со стороны автономных ботнетов и вышедших из-под контроля агентов. Anthropic включила риски экзистенциального характера для человечества в проспект своего IPO. В OpenAI ранее фиксировались случаи сбоя систем безопасности, из-за чего компании приходилось приостанавливать тестирование моделей.
На фоне отсутствия жесткого государственного регулирования и политики «самоконтроля», которую поддерживают Nvidia, OpenAI и Anthropic, лаборатории готовят стратегии взаимодействия с Конгрессом на случай масштабных сбоев. Подобные события могут привести к попыткам законодателей ограничить или полностью остановить развитие технологий.
Экономические масштабы сектора велики: в инфраструктуру ИИ уже вложено более $1 триллиона. Ожидается, что до 2050 года в эту сферу поступит еще $32 триллиона инвестиций. Руководители крупнейших компаний признают необходимость замедления разработок ради безопасности, однако конкретные шаги по реализации этих мер пока не раскрываются.
