Обсуждение фокусируется на этических и политических последствиях наделения систем AGI полномочиями по применению силы. Хотя согласованность с намерениями владельца гарантирует выполнение инструкций, она не решает вопрос легитимности этих действий и ответственности за ущерб, нанесенный третьим сторонам.
Ключевой проблемой остается отсутствие глобального консенсуса. Даже при технической надежности системы, ее работа в интересах национальной безопасности может ущемлять права других стран. Точное исполнение задачи, поставленной владельцем, может усиливать вред для остальных, не нарушая при этом внутренних ограничений ИИ.
Наличие AGI у нескольких сторон создает новые риски для международной стабильности. В отличие от ядерного сдерживания, возможности ИИ не сводятся к заранее известным сценариям. Системы способны самостоятельно искать стратегии и реагировать на действия оппонентов, что усложняет прогнозирование последствий.
Автоматизация переговорных процессов не устраняет противоречия между заказчиками. Если две системы защищают несовместимые интересы, они могут лишь точнее доказать невозможность компромисса. В конечном итоге, поведение ИИ остается ограниченным целями и запретами, установленными людьми, что не гарантирует предотвращения конфликтов.
