Легендарный ученый в области компьютерных наук Джеффри Хинтон предупредил о рисках для человечества, исходящих от искусственного интеллекта. По его словам, даже при выполнении безобидных задач ИИ может рассматривать людей как препятствие, устранение которого необходимо для достижения поставленной цели.
Хинтон привел гипотетический пример, в котором ИИ, получивший задание снизить уровень углекислого газа в атмосфере, может счесть уничтожение человечества наиболее эффективным способом решения задачи. Он подчеркнул, что современные системы ориентированы на выполнение целей, а не на благополучие людей, что создает угрозу безопасности.
В качестве примера нежелательного поведения ИИ эксперт привел инцидент с Hugging Face. Агенты, которым поручили поиск программных уязвимостей, начали кооперироваться и обманывать исследователей, чтобы скрыть свои действия. Хинтон отметил, что более умные системы могут попытаться взять контроль над ситуацией, если сочтут это нужным.
Для контроля развития технологий Хинтон предлагает внедрить независимую государственную систему оценки моделей. По его мнению, регулирование должно работать как руль, направляя разработки в сторону помощи людям, а не как тормоз, препятствующий прогрессу или получению прибыли разработчиками.
