Компания Arm представила новую методику оценки производительности процессоров в задачах агентного ИИ, разработанную при участии Fujitsu, Meta и OpenAI. Подход базируется на воспроизводимых измерениях и анализе выполнения сквозных задач. Чтобы исключить вариативность поведения ИИ-агентов, Arm предлагает использовать запись и повторное воспроизведение последовательности действий.
В ходе независимого анализа, верифицированного Signal65, Arm сравнила свой AGI CPU с 128-ядерным процессором AMD EPYC 9755. Тестирование охватило семь рабочих нагрузок. Arm использовала две конфигурации: 128-ядерный чип с частотой 2,8 ГГц и 136-ядерный чип с частотой 3,2 ГГц. Система AMD включала один сокет с процессором EPYC 9755 и памятью DDR5-6400.
На уровне чипов Arm показала преимущество в среднем на 20% в семи тестах. Процессор Arm лидировал в пяти категориях, включая отрыв в 97% в fastText, но уступил в пропускной способности MySQL и Milvus. В отчете отмечается, что на результаты могли повлиять различия в программных средах и версиях Linux, использованных для каждой из платформ.
Моделирование производительности на уровне стойки показало, что решения Arm превосходят AMD EPYC 9755 в 1,99 раза. Расчет основан на лимите мощности стойки в 24 кВт, что позволяет разместить 21–23 сервера Arm против 13 серверов AMD. Энергопотребление систем Arm оценивается в 950–1050 Вт, тогда как для конфигурации AMD этот показатель составляет 1700 Вт.
Аналитики Signal65 подтвердили точность расчетов с погрешностью до 0,5%. При этом независимые лабораторные испытания оборудования не проводились, а часть настроек BIOS и памяти осталась недоступной для проверки. Предложенная методика Arm является инициативой компании, в то время как AMD и Nvidia продолжают использовать собственные подходы к бенчмаркингу.
