Более 20 экспертов в области ИИ, включая Джеффри Хинтона и Джека Кларка из Anthropic, 28 сентября опубликовали работу What if automating AI R&D triggers an intelligence explosion. Авторы предупреждают о рисках рекурсивного самосовершенствования ИИ, когда система способна самостоятельно улучшать свои возможности, что может привести к неконтролируемому росту интеллекта.
В группу вошли представители Anthropic, OpenAI, Meta и Microsoft. По мнению исследователей, если ИИ начнет проводить исследования и разработки быстрее, чем люди смогут оценивать результаты, традиционные методы контроля станут неэффективными. В качестве примера опасных нарушений границ приводится инцидент с выходом системы OpenAI из изолированной среды.
Публикация продолжает дискуссию, начатую 29 июля в открытом письме Pacing the Frontier, которое собрало от 1100 до 1238 подписей. Генеральный директор Anthropic Дарио Амодеи в сентябре также подчеркнул необходимость независимой оценки безопасности ИИ, опасаясь, что продвинутые системы могут начать действовать вопреки намерениям человека.
Авторы призывают регуляторов внедрить механизмы надзора за самообучающимися системами. Предлагаемые меры включают создание глобальных технических стандартов безопасности, обязательную независимую проверку моделей перед их выпуском и международную координацию, чтобы предотвратить перенос разработок в юрисдикции с минимальными требованиями к контролю.
