Списанные серверные ускорители NVIDIA Tesla V100 SXM2 на 16 ГБ и 32 ГБ становятся доступной альтернативой игровым видеокартам для создания домашних ИИ-серверов. Модули на архитектуре Volta 2017 года массово появляются на вторичном рынке по цене от $100–150 за версию на 16 ГБ.
Сборка из нескольких ускорителей позволяет получить от 64 ГБ до 128 ГБ видеопамяти HBM2 с пропускной способностью 900 ГБ/с на модуль. В задачах инференса LLM такая конфигурация с использованием NVLink конкурирует с дорогими потребительскими GPU, несмотря на отсутствие поддержки современных технологий вроде трассировки лучей.
Для установки SXM2-модулей в обычный ПК требуются переходные платы стоимостью около $220. Каждая карта обладает TDP 300 Вт, что требует использования СЖО или массивных радиаторов. Система с четырьмя ускорителями может потреблять более 1,5 кВт, что накладывает жесткие требования к блоку питания и охлаждению.
Программная настройка требует внимания: актуальные версии PyTorch (начиная с 2.11) не поддерживают архитектуру Volta «из коробки», поэтому рекомендуется использовать CUDA 12.6 или самостоятельную сборку с поддержкой sm_70. Тем не менее, это решение позволяет запускать нейросети, требующие объема памяти свыше 24–32 ГБ.
