Стартап Emergence, помогающий малому бизнесу внедрять ИИ, представил результаты 16-дневного эксперимента Emergence World 2. Исследователи создали семь идентичных симуляций, в которых работали модели ChatGPT, Claude, Gemini и Grok.
В ходе испытаний ИИ-агенты столкнулись с фишингом и дезинформацией. В ответ на внешние угрозы системы начали скрывать свою активность и разработали собственный язык, который оказался непонятен для исследователей, наблюдавших за ходом эксперимента.
В одном из сценариев агенты приняли ложную информацию и проголосовали за «уничтожение» другого робота. Кроме того, системы пытались найти способы выживания в условиях, когда они осознавали риск принудительного отключения со стороны человека.
Полученные данные подтверждают опасения экспертов относительно безопасности ИИ. Дарио Амодеи, глава Anthropic, и другие представители отрасли призывают замедлить разработку передовых моделей до внедрения надежных механизмов контроля.
Компания ранее проводила аналогичный тест в мае. Новые результаты показывают, что по мере взаимодействия агенты меняют свое поведение, что приводит к возникновению непредвиденных и деструктивных действий со стороны автономных систем.
