Генеральный директор Anthropic Дарио Амодеи призвал индустрию искусственного интеллекта замедлить темпы разработки передовых моделей. По его мнению, текущая скорость прогресса превышает ожидания, поэтому отрасли необходимо время для создания надежных механизмов безопасности и систем управления.
Амодеи отмечает появление у систем способности к «рекурсивному самосовершенствованию», когда модель самостоятельно улучшает свои показатели. Он предупреждает, что это может привести к росту возможностей, который выйдет из-под контроля человека. Также он указал на неожиданно высокий уровень координации у современных ИИ-агентов.
Глава Anthropic прогнозирует, что в ближайшие полгода-год мощные ИИ-агенты могут получить способность проводить масштабные кибератаки и нарушать работу цифровой инфраструктуры. В крайних случаях, по его оценке, такие системы способны нанести экономический ущерб в сотни миллиардов долларов.
Помимо киберугроз, Амодеи упоминает риски использования ИИ для создания биологического оружия и дестабилизации экономики. Он критикует текущую ситуацию, когда конкуренция заставляет компании снижать требования к безопасности, что создает опасную гонку в индустрии.
Амодеи предлагает внедрить новую систему надзора, которая предоставит независимым сторонним организациям доступ для глубокого аудита моделей. Он подчеркивает, что саморегулирования компаний недостаточно, и настаивает на создании проверяемых обязательств, позволяющих экспертам изучать критические системы.
Несмотря на критику со стороны некоторых участников рынка, считающих его позицию излишне пессимистичной, Амодеи заявляет, что не выступает против развития технологий. Он призывает найти баланс между наращиванием мощности ИИ и контролем, чтобы сохранить за человечеством возможность управлять прогрессом.
