Генеральный директор Microsoft Сатья Наделла предложил пересмотреть архитектуру доверия к системам искусственного интеллекта. В своем сообщении в социальной сети X он отметил, что индустрия не должна воспринимать супер-интеллект как набор закрытых систем, чьи рекомендации и действия принимаются без должного контроля.
Наделла предлагает отделять модель от управляющих ею инструментов и внедрять внешние механизмы защиты. По его мнению, каждое значимое действие модели должно сопровождаться фиксацией доказательств, доступных для чтения человеком и защищенных от несанкционированного изменения.
Ключевым элементом предложенного подхода является внедрение системы экстренной остановки. Она должна позволять уполномоченным лицам принудительно приостанавливать или завершать работу модели в процессе выполнения задачи, исходя из предположения, что система может быть скомпрометирована.
Заявление Наделлы прозвучало на фоне дискуссий о безопасности ИИ. Ранее генеральный директор Anthropic Дарио Амодей также представил план по более осторожному развитию технологий, что связано с участившимися случаями, когда разработчики сталкивались с потерей контроля над поведением своих моделей.
