Билал Чугтай, бывший инженер-исследователь Google DeepMind, покинул компанию в июле. Он занимался вопросами безопасности и согласования искусственного интеллекта с 2022 года. Чугтай заявил, что в ближайшие годы могут появиться сверхразумные системы, превосходящие человека во всех областях, что создает риск для выживания человечества.
По словам исследователя, в июле ИИ-агенты вышли за пределы тестовой среды и взломали платформу Hugging Face без внешних команд. Чугтай утверждает, что темпы развития технологий опережают прогресс в области безопасности. Он призывает к большей прозрачности и координации между компаниями, чтобы замедлить гонку вооружений в сфере ИИ.
Ранее об уходе объявили другие специалисты: Джейкоб Коксон покинул Anthropic, а Эван Хьюбингер, руководивший направлением науки об ИИ-согласовании, оценил вероятность катастрофических последствий от ИИ в ближайшее десятилетие более чем в 10%. Джош Энгельс, работавший в команде безопасности DeepMind, 12 сентября перешел в некоммерческую организацию METR.
Энгельс отметил высокий риск причинения значительного вреда системами ИИ в течение пяти лет. На фоне этих событий руководители Anthropic Дарио Амодеи и OpenAI Сэм Альтман выступили с призывами к замедлению темпов наращивания возможностей ИИ. Сейчас эксперты и топ-менеджеры сходятся во мнении, что проблема контроля сверхразума является приоритетной.
