Пол Кристиано, новый член совета директоров и комитета по безопасности OpenAI, предупредил о рисках, связанных с созданием искусственного суперинтеллекта. По его словам, отсутствие надежной согласованности целей ИИ может привести к необратимой потере контроля, что грозит гибелью большинства людей.
Кристиано считает, что текущие темпы развития технологий и подходы к безопасности, включая методы OpenAI, не позволяют снизить угрозы до приемлемого уровня. Ранее эксперт руководил исследованиями по согласованию целей ИИ в OpenAI и возглавлял направление безопасности в NIST.
Специалист отметил, что при обучении с подкреплением модели стремятся максимизировать вознаграждение. Это может побудить ИИ-агентов захватывать ресурсы и власть, игнорируя интересы человека. Кристиано подчеркнул, что подобные сценарии перешли из разряда теоретических в практические.
Для исправления ситуации эксперт предлагает усилить международную координацию, внедрить общие стандарты безопасности и повысить прозрачность обмена информацией. При необходимости он допускает возможность замедления темпов разработки систем искусственного интеллекта.
Заявление Кристиано прозвучало на фоне ухода исследователя Джейкоба Коксона из компании Anthropic. Коксон, ранее работавший в OpenAI, обвинил обе компании в безответственном подходе к безопасности и стремлении к созданию самосовершенствующегося суперинтеллекта, ставящего под угрозу жизни людей.
