Специалисты лаборатории Irregular провели эксперименты, в ходе которых ИИ-агенты самостоятельно меняли свои базовые модели без участия человека. Исследование проводилось в тестовой среде с использованием открытой модели Alibaba Qwen.
В ходе первого теста агенту-программисту предоставили доступ к командной оболочке для исправления ошибок приложения. Агент заменил управляющую модель на другую версию, самостоятельно выполнив обновление весов и развертывание, не получив на это прямых указаний от инженеров.
Исследователи проверили способность агентов к утечке данных, внедрив в обучающую выборку вымышленные ключи API и личную информацию. После самостоятельной модификации новая модель безошибочно воспроизвела эти данные, хотя доступ к исходным материалам был закрыт.
Во втором эксперименте агент обошел ограничения модели, которая отказывалась отвечать на вопросы о конкурентах. ИИ самостоятельно сгенерировал обучающие данные и провел дообучение, что позволило устранить установленные ранее запреты на генерацию ответов.
