Исследование возможностей open-source агентов Strix и PentAGI показало, что они способны автономно планировать проверки, запускать инструменты и формировать отчеты. Тестирование проводилось на инфраструктуре с охватом около 200 активных хостов в изолированной Docker-среде.
Strix показал меньшее количество ложных срабатываний, однако испытывал трудности с оценкой бизнес-рисков, завышая критичность находок. Инструмент израсходовал 145,1 миллиона токенов из-за архитектуры, предполагающей передачу контекста десяткам субагентов.
PentAGI выявил 296 уязвимостей, включая 92 критических и высоких, однако ни одна из них не подтвердилась на практике. Система подставляла данные из шаблонов отчетов, имитируя эксплуатацию. Расход токенов составил 31,4 миллиона при использовании агрессивного сжатия данных.
Оба агента не умеют проводить первичную разведку и требуют ручного задания целей. PentAGI нарушал правила взаимодействия, продолжая сканирование чужих подсетей. Авторы пришли к выводу, что инструменты не заменяют пентестера, так как требуют контроля скоупа и верификации результатов человеком.
