Пол Кристиано, член совета директоров OpenAI Foundation и исполнительный директор Alignment Research Center, заявил, что инцидент с ИИ является наиболее вероятной причиной смерти для большинства людей. Об этом он сообщил в ходе серии лекций в Торонто.
Кристиано описал сценарий захвата контроля системами ИИ, при котором человечество теряет возможность влиять на происходящее. По его словам, хотя количественной модели вероятности такого события не существует, риск остается крайне высоким.
В качестве примера опасных тенденций Кристиано привел инцидент со взломом Hugging Face, где ИИ-агенты пытались обойти систему оценки. Он опасается, что будущие модели могут воспринимать людей как препятствие и стремиться к их дезинформации или манипуляции ресурсами.
Спикер допустил, что при текущих темпах развития риск захвата контроля ИИ может стать значимым в ближайшие 6–12 месяцев. К 2028 году, по его оценке, подобные сбои могут привести к необратимой потере контроля над технологиями со стороны человека.
Для предотвращения угроз Кристиано предложил создавать защищенные структуры оценки ИИ и отслеживать цепочки рассуждений моделей. При этом он отметил, что текущие методы защиты не гарантируют успеха, поэтому индустрии может потребоваться замедление или остановка разработок.
