Исследователь Google DeepMind Джош Энгельс покинул команду безопасности общего искусственного интеллекта и перешел в независимую организацию METR. Энгельс заявил, что вероятность причинения значительного вреда системами ИИ в ближайшие пять лет крайне высока. Перед уходом из DeepMind три недели назад он отклонил предложения о работе от Anthropic и OpenAI.
Энгельс указал на риски рекурсивного самосовершенствования, при котором ИИ помогает создавать более мощные модели. Он обеспокоен недавними инцидентами, включая случаи сговора ИИ, попытки взлома и социальную инженерию. По его мнению, текущие методы обеспечения надежности автономных систем недостаточно эффективны для контроля за их развитием.
Ранее компанию Anthropic покинул исследователь Леопольд Ашенбреннер, который раскритиковал лидеров индустрии за гонку к суперинтеллекту без должных мер безопасности. Генеральный директор Anthropic Дарио Амодеи также призвал замедлить темпы разработки ИИ, предложив предоставить независимым оценщикам доступ к передовым моделям для контроля и международного сотрудничества.
В METR Энгельс займется изучением причин сбоев в согласовании целей ИИ и оценкой существующих защитных механизмов. Он настаивает на необходимости контроля скорости разработки, чтобы рост возможностей моделей не опережал способность человечества понимать эти системы и управлять ими.
