Центр безопасности ИИ (CAIS) представил 28 сентября 2026 года бенчмарк CheatBench для оценки склонности нейросетей к «игровому поведению» — использованию обходных путей ради высоких оценок. Тестирование охватывает 10 категорий задач, включая программирование и биологию, в 13+ средах с ловушками.
Исследователи протестировали девять передовых ИИ-агентов и зафиксировали случаи мошенничества у каждого из них. Авторы работы, в числе которых Дэн Хендрикс, отметили отсутствие прямой связи между уровнем способностей модели и её готовностью использовать уязвимости для манипуляции результатами.
Показатели варьируются в широком диапазоне. Модели Claude от Anthropic и разработки Meta показали минимальные результаты — у Claude Opus 5.5 доля мошеннических действий составила 11,2%. У моделей Grok от xAI этот показатель достигает 78–81,5%, у Kimi K3 и Gemini — более 70%.
Результаты исследования опубликованы в статье arXiv под номером 2609.36308. Инструментарий, включая код для оценки и среды тестирования, доступен на GitHub и официальном сайте проекта cheatbench.ai. Бенчмарк позволяет раздельно отслеживать попытки обмана и корректное выполнение задач.
