Исследовательская группа Epoch AI представила 9 ноября 2026 года индекс производительности вывода Inference Performance Index. Методика оценивает чипы по количеству пользователей, которых они могут обслуживать одновременно.
Индекс учитывает вычислительную мощность, пропускную способность памяти и скорость обмена данными между чипами. Согласно данным, чип Nvidia GB300 на базе Blackwell Ultra превосходит H100 в 10 раз в задачах вывода.
Каждый GPU GB300 оснащен 288 ГБ памяти HBM3e и обладает пропускной способностью около 8 ТБ/с, тогда как у H100 этот показатель составляет примерно 3,35 ТБ/с.
Система GB300 NVL72 объединяет 72 GPU в одной стойке, поддерживая до 20–40 ТБ общей памяти и обновленные интерконнекты NVLink. Это позволяет снизить необходимость разделения модели между чипами.
Тесты MLPerf и другие отраслевые данные показывают, что GB300 NVL72 обеспечивает прирост пропускной способности и эффективности затрат на токен в 5–20 раз по сравнению с платформами поколения Hopper.
Nvidia заявляет, что на уровне стоек GB300 NVL72 достигает десятикратного преимущества по количеству токенов в секунду на пользователя и пятикратного — по количеству токенов на мегаватт против Hopper.
