Для создания суперкомпьютера требуются минимум два сервера, соединенные через InfiniBand, и общая вычислительная задача. Технология InfiniBand обеспечивает низкую задержку при обмене данными, что необходимо для работы вычислительных кластеров, включая задачи ИИ.
При выполнении задач нейросетями, таких как prefill и decode, серверы обмениваются промежуточными результатами, например KV-кешем. Использование RDMA позволяет передавать данные между областями памяти серверов с минимальным участием процессора, что предотвращает простои ускорителей.
Управление сетью InfiniBand осуществляется через менеджер подсети, такой как OpenSM, который настраивает маршруты передачи данных. Для разграничения доступа между пользователями применяются партиции — логические группы портов, работа которых регулируется ключами P_Key.
Ручная настройка портов и идентификаторов серверов неэффективна. Команда Cloud.ru автоматизировала процесс: серверы самостоятельно передают сведения о себе в управляющую систему, которая формирует конфигурацию сети без участия инженера.
Изменение состава групп серверов без остановки работы сети реализуется через перечитывание конфигурации в OpenSM. Для обеспечения отказоустойчивости настройки доставляются по SSH на основной и резервный менеджеры подсети.
Реализованный подход «суперкомпьютер как сервис» позволяет динамически объединять серверы для совместных вычислений и менять их конфигурацию через систему управления, в планах — интеграция с Terraform.
