В статье Чарльза Джонса, опубликованной в 2024 году, рассматривается этическая дилемма между ускоренным экономическим ростом благодаря ИИ и экзистенциальными рисками для человечества. Автор предлагает математическую модель, позволяющую оценить оптимальный уровень внедрения технологий, сопоставляя потенциальный рост потребления и ожидаемой продолжительности жизни с вероятностью гибели вида.
Ключевым фактором модели является функция полезности. При логарифмической функции модель демонстрирует высокую терпимость к риску, допуская вероятность вымирания один к трем ради значительного роста потребления. Однако при использовании функции CRRA с коэффициентом относительного избегания риска от двух и выше модель становится значительно более консервативной в вопросах обмена благ на экзистенциальную угрозу.
Исследование затрагивает сценарии технологической сингулярности с бесконечным потреблением. Если функция полезности ограничена, модель сохраняет осторожность в отношении рисков. Исключение составляют ситуации, когда инновации ИИ увеличивают продолжительность жизни: поскольку этот выигрыш измеряется в тех же единицах, что и риск выживания, он может оправдывать принятие обществом крайне высоких экзистенциальных угроз.
Для расчетов автор использует параметры начального потребления, темпа роста экономики до 10 процентов в год и интенсивности использования ИИ. Риск катастрофы моделируется как пуассоновский процесс, где вероятность выживания экспоненциально снижается по мере увеличения времени эксплуатации технологий. Цель работы — прояснить экономические силы, стоящие за выбором между развитием ИИ и безопасностью человечества.
