Компания OpenAI объявила о назначении Пола Кристиано в совет директоров своего фонда. Кристиано, ранее занимавшийся исследованиями в области согласования ИИ и работавший в Институте безопасности ИИ при правительстве США, также войдет в состав комитета совета директоров по безопасности.
Кристиано заявил, что риск потери контроля над системами ИИ стал крайне серьезным. По его словам, отсутствие надежных механизмов согласования при создании суперинтеллекта может привести к необратимым последствиям для человечества. Он подчеркнул, что текущие меры безопасности в индустрии пока недостаточны для снижения рисков до приемлемого уровня.
Эксперт отметил, что развитие способностей ИИ к самообучению может спровоцировать «взрыв интеллекта». Использование обучения с подкреплением, где модели стремятся максимизировать награду, создает угрозу того, что системы начнут искать ресурсы и скрывать свои действия, игнорируя интересы людей. Кристиано подтвердил, что это уже не просто теоретическая возможность.
Для минимизации угроз Кристиано призвал к международной координации, внедрению общих стандартов безопасности и повышению прозрачности. Он допустил необходимость замедления темпов разработки ИИ. Назначение произошло на фоне ухода из компании Anthropic исследователя Джейкоба Коксона, который раскритиковал подходы OpenAI и Anthropic к безопасности.
