Система GuardRate представляет собой конвейер Evaluation-as-Code, который обеспечивает воспроизводимость тестов за счет использования Docker-контейнеров и vLLM вместо облачных API. Весь процесс автоматизирован через CLI: запуск тестов осуществляется одной командой с использованием YAML-конфигураций.
Инструмент оценивает модели по 19 бенчмаркам, включая тесты на устойчивость к атакам, ложные срабатывания и мультиязычность. Система рассчитывает метрики F1, FNR, FPR, precision, recall и accuracy, которые агрегируются в итоговый показатель Integral Score.
Методология оценки использует гармоническое среднее для групп датасетов и геометрическое среднее для итогового рейтинга. Такой подход штрафует модели за «слабые звенья» и дисбаланс, из-за чего более компактные и стабильные модели могут занимать места выше, чем более крупные аналоги.
Результаты экспериментов, включая логи и сырые предсказания, сохраняются в артефактах и публикуются в хранилищах Hugging Face. Пользователи могут изучать детали прогонов через ноутбуки для анализа, чтобы понять причины низких оценок или провести сравнение конкретных моделей.
Для задач продакшена система учитывает latency. Например, модель HiveTraceGuard-Pro 0.6B показывает p95 задержку около 29 мс при высоком месте в рейтинге, что делает её более подходящей для реальных нагрузок по сравнению с более медленными моделями, чья задержка достигает 393 мс.
