Платформа для тестирования ИИ-моделей Artificial Analysis вышла на рынок кибербезопасности. 25 сентября компания представила Cyber Index (v1) — инструмент для оценки способности нейросетей находить, проверять и устранять уязвимости в корпоративных системах.
Индекс базируется на трех специализированных бенчмарках, созданных при участии отраслевых партнеров: CWE-Bench-AA, DeepsecBench-AA и CyberGym-E2E-AA. Они охватывают полный цикл управления безопасностью, от обнаружения угроз до их исправления.
Каждый бенчмарк решает свою задачу: CWE-Bench-AA использует классификацию Common Weakness Enumeration, DeepsecBench-AA проводит глубокий анализ безопасности, а CyberGym-E2E-AA проверяет работу ИИ-агентов в сквозных сценариях на реалистичных поверхностях атаки.
Разработчики сделали акцент исключительно на защитных функциях. Индекс оценивает, насколько эффективно модели помогают компаниям превентивно управлять уязвимостями, не рассматривая их способность к взлому систем.
Компания, сооснователем которой является Майка Хилл-Смит, ранее выпускала индексы для финансового, юридического и медицинского секторов. Основной продукт платформы, Intelligence Index, достиг версии 4.3.2 и включает 10 оценок для сотен ИИ-моделей.
