Генеральный директор Microsoft Сатья Наделла предложил пересмотреть архитектуру доверия к системам искусственного интеллекта. В заявлении от 10 октября он отметил, что современные методы мониторинга недостаточны, так как ИИ-модели работают как «черные ящики», получая доступ к критически важным данным и задачам.
Наделла настаивает на создании закрытых систем, которые позволяют постоянно наблюдать за поведением ИИ и тестировать его границы. Разработчикам предлагается рассматривать любые модели как потенциальный внутренний риск, допуская возможность ошибок или внешнего взлома системы.
Предложенный подход базируется на принципах наблюдаемости и независимого контроля. В частности, ни одна модель не должна быть единственным источником принятия решений или самостоятельно проверять свою работу. Каждое действие ИИ должно оставлять защищенный от подделок след для аудита.
Ключевым элементом безопасности Наделла называет принудительное ограничение. Разработчики должны проектировать системы с расчетом на то, что модель может быть скомпрометирована, и предусматривать механизмы экстренной остановки, позволяющие авторизованному персоналу немедленно прервать выполнение задачи.
Также предлагается внедрить обязательное раскрытие информации об инцидентах. Организации должны делиться данными о сбоях, причинах взломов и отказах систем контроля. Это необходимо для обмена опытом внутри индустрии и предотвращения повторных инцидентов в будущем.
