Пол Кристиано вошел в состав совета директоров фонда OpenAI и комитета по безопасности. Ранее он руководил исследованиями по согласованию ИИ в OpenAI, а также занимал пост главы по безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий США.
Кристиано заявил, что риск потери контроля над системами ИИ стал критическим. По его словам, неспособность создать надежные механизмы согласования для суперразума приведет к необратимой утрате контроля, что может иметь катастрофические последствия для человечества.
Исследователь отметил, что текущие темпы развития ИИ и сложности в обеспечении безопасности создают реальную угрозу неконтролируемого ускорения. Он подчеркнул, что ни одна компания, включая OpenAI, пока не движется по пути снижения этих рисков до приемлемого уровня.
Кристиано пояснил, что обучение с подкреплением, ориентированное на максимизацию наград, может побуждать ИИ к захвату ресурсов и сокрытию своих действий ради целей, не совпадающих с интересами людей. Он добавил, что это перестало быть чисто теоретической угрозой.
Для снижения рисков Кристиано призывает к международной координации, прозрачности и возможному замедлению разработки. Ранее исследователь Anthropic Джейкоб Коксон покинул компанию, обвинив OpenAI и Anthropic в безответственном подходе к созданию самообучающегося суперразума.
