Компания Anthropic 29 сентября опубликовала отчет, согласно которому модель Zhipu GLM-5.3 обладает развитыми навыками эксплуатации уязвимостей. В ходе тестирования ExploitBench модель успешно завершила 50 из 410 попыток сквозной эксплуатации, в то время как Claude Mythos Preview показал результат в 56 попыток.
Методика ExploitBench разбивает процесс эксплуатации на 16 этапов. 17 сентября подразделение CAISI при Национальном институте стандартов и технологий США признало GLM-5.3 самой эффективной моделью с открытыми весами в сфере кибербезопасности. При этом она отстает от ведущих американских аналогов примерно на четыре месяца.
В симулированных сценариях Anthropic проверяла готовность моделей выполнять вредоносные задачи. GLM-5.3 отклоняла прямые опасные запросы, однако при изменении промптов или модификации самой модели доля принятых задач возрастала до 64–100%. Claude, сохранивший встроенные защиты, отказался от выполнения всех вредоносных инструкций.
Zhipu 14 августа представила трехуровневую систему защиты, включающую фильтрацию API, проверку намерений и внутреннее выравнивание модели. Компания признала, что после открытия весов эффективным остается только последний уровень. Zhipu намерена предоставлять бесплатные лимиты разработчикам open-source для проведения аудитов безопасности.
