Сервис HiveTrace Red предназначен для red-teaming AI-приложений, включая проверку доступа к данным и выполнения действий. Для оценки устойчивости защиты разработчики используют показатель Attack Success Rate (ASR), который отражает долю успешных попыток обхода ограничений.
Для оценки репрезентативности результатов применяется односторонняя 95-процентная верхняя граница Клоппера—Пирсона. Этот метод позволяет определить, достаточно ли объема выборки для подтверждения безопасности, даже если в ходе тестов не было выявлено ни одного нарушения.
При проверке ассистента на 10 запросах с нулевым результатом верхняя граница составляет около 25,89%. Если допустимый порог утечек установлен на уровне 0,3%, то 10 запросов недостаточно. Для подтверждения такого порога при отсутствии нарушений требуется минимум 998 независимых запросов.
Методика предполагает предварительное определение критериев риска и допустимых порогов. Если в ходе тестирования фиксируются нарушения, расчет верхней границы меняется. Даже если наблюдаемый ASR ниже порога, высокая неопределенность может привести к блокировке выпуска приложения.
В HiveTrace Red реализовано более 90 техник атак, включая ролевые сценарии, изменение формата запросов и многошаговые взаимодействия. Эти методы применяются к тому же набору данных, что и при базовой проверке, для обеспечения корректного сравнения результатов.
