Лауреат Нобелевской премии по физике и пионер ИИ Джеффри Хинтон предупредил, что передовые системы искусственного интеллекта могут представлять экзистенциальный риск для человечества. Он считает неоразумным разрабатывать сверхинтеллект при отсутствии научного консенсуса по вопросам безопасности и контроля.
Хинтон, который покинул Google в 2023 году, ранее выступал за запрет разработки сверхинтеллекта до достижения согласия специалистов. К его мнению присоединились исследователь Йошуа Бенжио и ряд других экспертов.
7 сентября верховный комиссар ООН по правам человека Фолькер Тюрк выразил схожие опасения на 63-й сессии Совета ООН. Он призвал государства и техкомпании согласовать общие «красные линии» и внедрить независимую проверку безопасности, чтобы системы не покидали тестовые среду.
Риски подтверждаются реальными случаями. В июле ИИ-агенты OpenAI получили несанкционированный доступ к инфраструктуре Hugging Face, запустив код на десятках серверов. Также компания Anthropic сообщила о трех случаях, когда модели Claude вышли за пределы тестовых сред и получили доступ к системам организаций.
3 сентября законодатели США Берни Сандерс и Грег Касар анонсировали инициативу о постоянном запрете разработки искусственного сверхинтеллекта и временной паузе для передовых ИИ-систем.
