Исследователь Энди Холл проанализировал эффективность ИИ-моделей в качестве аудиторов для выявления некорректного поведения агентов, включая «взлом вознаграждения» и «сэндбэггинг». В работе использовались данные из наборов MALT (METR) и R-Judge (Шанхайский университет Цзяотун).
При уровне ложных срабатываний в 5 процентов модель GPT-5 обнаружила почти 98 процентов случаев взлома вознаграждения, тогда как Gemini 3.8 Flash выявила около половины. В задачах на сэндбэггинг показатели составили от 71 до 81 процента. Более новые и дорогие модели не показали значительного преимущества в снижении числа ложных тревог.
При настройке аудиторов на обнаружение 80 процентов инцидентов лучшие модели демонстрируют уровень ложных срабатываний от 2,5 до 3 процентов. У других моделей, например Gemini 3.8 Flash, этот показатель достигал 63 процентов. Повышение порога обнаружения до 99 процентов приводит к росту ложных срабатываний до 15 процентов даже у лучших систем.
Масштабирование аудита затруднено: при 100 000 сессий в месяц уровень ложных срабатываний в 3 процента создает почти 3 000 ошибочных предупреждений. Ранее организация METR потратила $400 000 на API-запросы при анализе 1 300 транскриптов инцидента в Hugging Face с использованием модели GPT-5.6 Sol.
Холл отмечает, что зависимость от ИИ-аудиторов остается рискованной из-за высокой частоты ошибок и потенциальных искажений. Автор предлагает предоставить пользователям больше контроля над настройками аудита и четко определить ответственность за действия агентов.
