Современные кластеры для ИИ часто включают более 100 000 ускорителей, что создает критическую нагрузку на системы питания и охлаждения в рамках одного дата-центра. Для решения этой проблемы отрасль переходит к архитектуре scale-across, позволяющей объединять вычислительные ресурсы между разными зданиями, кампусами и даже регионами.

Google представила сетевую архитектуру Virgo, предназначенную для распределения ИИ-нагрузок за пределами одного объекта. Компания планирует объединить вычислительные мощности целых кампусов в единую систему. Cisco и Marvell также разрабатывают специализированное оборудование, включая высокопроизводительные маршрутизаторы, коммутаторы и оптические соединения для связи распределенных кластеров.

Масштабирование инфраструктуры сталкивается с задержками передачи данных и проблемами синхронизации. Эффективность работы теперь зависит от сетевых адаптеров, коммутаторов и программных стеков, таких как libfabric, MPI или UCX. Для снижения нагрузки на центральные процессоры применяются технологии RDMA, SmartNIC и специализированные блоки обработки данных.

Разработчики внедряют новые стандарты связи с пропускной способностью 800 Гбит/с и 1,6 Тбит/с. Тем не менее, пиковая скорость не является единственным показателем производительности. Успех будущих систем ИИ будет зависеть от способности программного обеспечения и сетевого оборудования эффективно управлять трафиком и синхронизировать вычисления между тысячами процессоров.