Внедрение ИИ меняет требования к ИТ-инфраструктуре. Вместо традиционных метрик производительности (FLOPS, PUE) приоритетными становятся скорость генерации токенов, время отклика модели и энергоэффективность в токенах на ватт. Эффективность системы теперь оценивается через работу конкретной модели.
Рынок процессоров отходит от доминирования архитектуры x64. Помимо Nvidia, развиваются альтернативные решения: Huawei Ascend, Cambricon MLU, Biren, а также собственные ускорители Google, Amazon, Microsoft и Meta. Также разрабатываются решения для вычислений на целой кремниевой пластине.
Для передачи данных между вычислителями внедряются новые интерконнекты: UCIe, HBM, PCIe 6.0/7.0, CXL, NVLink-C2C и AMD Infinity Fabric. Граница между памятью и сетью размывается, так как общая производительность системы напрямую зависит от скорости перемещения данных между узлами.
Мощность ИИ-стойки превышает 100 кВт и стремится к 1 МВт, что требует перехода на жидкостное охлаждение и новые схемы питания. В 2026 году Google, Microsoft и Nvidia через Open Compute Project планируют внедрить стандарт 800 В постоянного тока для питания новых ЦОДов.
ЦОДы превращаются в единые распределенные вычислительные машины. Проектирование компонентов — процессоров, памяти, сети и охлаждения — теперь происходит совместно. Инфраструктура поставляется в виде программно-аппаратных комплексов, требующих специализированных систем управления нагрузками.
