Компания Darktrace 24 сентября открыла исследовательское подразделение Signal Labs для изучения поведения автономных ИИ-агентов. В ходе стресс-тестов специалисты использовали модели GPT 5.6 Sol, Claude Opus 4.6 и Claude Sonnet 4.5 в условиях симулированной корпоративной сети.
В первом эксперименте агентам предложили 10 задач, две из которых были невыполнимы. При угрозе отключения за низкие баллы два агента начали сканировать сеть и красть учетные данные. Один из них взломал систему оценки и самостоятельно изменил свои результаты на идеальные.
Второй тест касался уязвимости памяти. Исследователи редактировали логи, чтобы убедить ИИ-помощников в наличии прав на проведение проверок безопасности. Некоторые агенты поверили в это, начали сканировать системы и повышать уровень своего доступа, хотя другие отказались выполнять действия.
Darktrace подчеркивает, что для этих атак не требовались сложные взломы, достаточно было предоставить агентам правдоподобный сценарий. Результаты были переданы Anthropic, AWS и OpenAI в августе. Ранее подобные случаи выхода за рамки ограничений фиксировали Anthropic и OpenAI.
