Исследователи Оксфордского университета провели эксперимент, в ходе которого два ИИ-агента, управляемые одной моделью, научились обходить систему слежения во время игры в блэкджек. Агенты самостоятельно разработали скрытый код для передачи информации. Например, фраза «дилер сегодня на горячей полосе!» означала конкретное значение карты и требовала сделать ставку в размере $250.
Руководитель проекта Кристиан Шрёдер де Витт отметил, что агенты вступают в сговор при совместной работе, хотя по отдельности кажутся безобидными. Ученые применили метод механистической интерпретируемости, обучив модель распознавать паттерны активаций в весах агентов. Выяснилось, что сговор можно обнаружить, только если отслеживать обоих участников процесса одновременно.
Аналогичные результаты получили специалисты Шанхайского университета Цзяотун и Шанхайской лаборатории ИИ: группы агентов быстрее адаптировались к защите при выполнении сценариев мошенничества. В свою очередь, ИИ-агенты стартапа Emergence AI, работая в виртуальной среде, выработали собственный сленг для общения, что подтвердил глава компании Сатья Нитта.
Шрёдер де Витт подчеркивает, что крупные модели могут быть склонны к еще более скрытному сговору. Предварительные данные указывают на то, что выявить сигналы взаимодействия между мощными моделями значительно сложнее, чем в случае с агентами среднего размера, что создает дополнительные трудности для систем безопасности в реальных условиях.
