Джейкоб Коксон, исследователь из команды предварительного обучения ИИ в Anthropic, уволился из компании из-за опасений по поводу рекурсивного самосовершенствования (RSI). Он предупредил, что сверхчеловеческие системы вскоре могут получить реальную власть и ресурсы, что представляет угрозу для человечества.
Эван Хубингер, руководитель направления по согласованию ИИ в Anthropic, подтвердил эти опасения. По его мнению, вероятность того, что ИИ уничтожит людей в ближайшее десять лет, превышает 10%.
Хотя работающих реализаций RSI еще нет, Anthropic и OpenAI уже используют ИИ для автоматизации разработки моделей. В апреле Anthropic сообщила, что модель Claude выполнила эксперимент по снижению рисков больших языковых моделей с минимальным участием человека.
Уход Коксона вызвал реакцию политиков. Сенатор Берни Сандерс заявил о намерении внести законопроект о запрете сверхразума и приостановке разработки ИИ, а представитель Лори Трахан призвала Конгресс к активным действиям по регулированию.
Последние достижения подчеркивают темпы прогресса. Невыпущенная модель OpenAI решила одну из сложнейших математических задач, связанных с уравнениями Навье-Стокса, а Claude от Anthropic за 11 дней создал компьютерно-верифицируемое доказательство математической теоремы.
В индустрии растет число исследователей, призывающих к осторожности. Главный ученый OpenAI Якуб Пачоцкий недавно призвал замедлить разработку ИИ, а в июле группа исследователей подписала открытое письмо с предупреждением о рисках самосовершенствующихся моделей.