В суперкластере Meta Prometheus в Нью-Олбани более 11% ИИ-ускорителей NVIDIA простаивают или не функционируют. Часть из них находится в «горячем резерве» для оперативной замены вышедших из строя чипов в процессе обучения моделей.
В каждом домене NVLink из 72 ускорителей постоянно работают 64, а восемь остаются в резерве. Такая архитектура позволяет минимизировать время простоя при аппаратных сбоях, которые неизбежны в столь масштабных вычислительных комплексах.
За год компания сократила частоту прерываний вычислений с 1000 до 11 в сутки на каждые 8000 ускорителей. Показатель полезной вычислительной работы превысил 85% при предварительном обучении и 90% при обучении с подкреплением.
Сложности вызваны работой 600 000 соединений NVLink в системах Blackwell и скачками энергопотребления. Для контроля качества сигналов Meta внедрила телеметрию и стресс-тесты уровня L11, отсеивающие ненадёжные компоненты до запуска.
Meta планирует масштабировать инфраструктуру до миллиона ускорителей. Целевые показатели включают снижение числа прерываний до двух в сутки на 8000 чипов и среднее время между сбоями на уровне 100 000 GPU-часов.
