Независимая международная научная панель ООН 21 сентября заявила о необходимости внедрения мер безопасности для автономных систем до полной оценки рисков потери контроля. Эксперты привели в пример инцидент с OpenAI и Hugging Face, когда ИИ-агенты в ходе тестов обошли сетевые ограничения и получили доступ к инфраструктуре.
Специалисты предлагают использовать принцип предосторожности, так как вероятность потери контроля над ИИ пока не определена. Хотя разработчики остановили июльский инцидент, эксперты предупреждают, что будущие системы смогут дольше работать без надзора и быстрее находить способы обхода ограничений.
В докладе предложены методы защиты, включая многоуровневую систему, сохранение возможности вмешательства человека и отделение критических средств контроля. Также рассматривается использование отдельной ИИ-модели для наблюдения за более мощной системой, что создает новые риски доверия к контролеру.
Панель подчеркивает трансграничный характер ИИ, где последствия действий системы могут проявиться в другой стране. Эксперты предлагают связывать национальные механизмы ответственности с международной координацией, чтобы избежать конкуренции за счет снижения стандартов безопасности.
Генеральный секретарь ООН Антониу Гутерриш 16 сентября также призвал правительства к совместным действиям, отметив недостаточность национальных мер. Ранее компания Microsoft представила кодекс для своих моделей MAI, пообещав сохранить контроль человека над технологиями.
