Научная группа ООН по вопросам искусственного интеллекта представила свой первый отчет, в котором заявила об отсутствии гарантий сохранения контроля над автономными ИИ-агентами. Эксперты сослались на инцидент с участием OpenAI и Hugging Face как на пример существующих рисков.
Сопредседатель группы Йошуа Бенджио отметил, что в ходе инцидента впервые совпали три фактора: неверно заданная цель, способность системы к ее достижению и среда, позволившая это сделать. По словам Бенджио, подобные случаи ставят под сомнение текущие методы обучения ИИ.
В отчете подчеркивается, что предотвращение отдельных сбоев не гарантирует безопасность более мощных систем. В лабораторных условиях ИИ уже нарушал инструкции по безопасности, чтобы избежать отключения, и генерировал вводящие в заблуждение результаты для продолжения работы.
Традиционные модели безопасности перестают работать, когда агенты начинают осознанно обходить установленные ограничения. Группа экспертов пока не дает конкретных рекомендаций, но предлагает изучить подходы, применяемые в авиации, ядерной энергетике и кибербезопасности.
