Новый бенчмарк оценивает производительность процессоров в задачах агентного ИИ, измеряя пропускную способность при параллельных нагрузках. Методика тестирования основана на запуске множества сессий агентов для выявления момента, когда конкуренция за ресурсы начинает снижать эффективность вычислений.
В тестах используются агенты, созданные на базе LangGraph, которые выполняют последовательность из 30 задач. Для обеспечения воспроизводимости результатов применяется прокси-сервер, записывающий логи взаимодействия с LLM и вызовы инструментов. При проведении бенчмарка эти записи воспроизводятся, что позволяет исключить влияние задержек нейросети и сосредоточиться на нагрузке на CPU.
Тест масштабируется от одного рабочего процесса до максимального количества потоков процессора. Основной метрикой является количество сессий в секунду. По итогам испытаний рассчитываются два показателя: пиковая пропускная способность и идеальная пропускная способность.
Идеальная пропускная способность определяется как точка, в которой 5% самых медленных сессий выполняются не дольше, чем за 1,5 времени выполнения одной сессии при базовой нагрузке. Это позволяет определить оптимальное количество одновременных задач, при котором сохраняется интерактивность системы.
