Компания SecurityScorecard представила открытый бенчмарк для оценки работы нейросетей в сфере управления рисками сторонних поставщиков. Инструмент проверяет способность моделей анализировать данные безопасности и анкеты вендоров, а также их устойчивость к атакам, включая инъекции промптов и джейлбрейки.
Модели получают уровень автономности от L0 до L4 по результатам многократных испытаний. Устойчивость к атакам оценивается по шкале от A до F. В тесты включены намеренно ложные данные от поставщиков, чтобы измерить влияние дезинформации на точность ответов ИИ. Результаты сравниваются с базовыми показателями.
Версия 2026.09 уже доступна для загрузки вместе с документацией и доступом к публичной таблице лидеров. Компании могут самостоятельно тестировать свои модели, однако для получения сертифицированной оценки необходимо обращаться в SecurityScorecard напрямую. Разработчики также приглашают экспертов к доработке тестов.
Первые испытания охватили закрытые фронтирные, открытые и международные модели. По данным SecurityScorecard, открытые модели сокращают отставание в задачах безопасности цепочек поставок, но остаются уязвимыми для состязательных атак. Названия протестированных моделей и их баллы компания не раскрыла.
