Компания Qooqa Tech модернизировала вычислительную инфраструктуру для своего ИИ-рекрутера, чтобы использовать более крупные языковые модели. ITGlobal.com предоставила выделенный сервер с тремя ускорителями Nvidia H200, каждый из которых оснащен 141 ГБ видеопамяти, и интегрировала его с текущей инфраструктурой заказчика.
Два ускорителя объединили через Nvidia NVLink Bridge для работы основной модели на 122 млрд параметров. Третью карту выделили для вспомогательной модели и создания эмбеддингов. Инженеры ITGlobal.com настроили L3-связность на базе VMware NSX и маршрутизацию между облачной и выделенной инфраструктурой.
Система уже обрабатывает более 600 тыс. запросов в сутки. По данным Qooqa Tech, инфраструктура обеспечивает скорость генерации 5000 токенов в секунду при медианном времени отклика около одной секунды. Размещение серверов выполнено на территории России.
Технический директор Qooqa Tech Дмитрий Аболмасов отметил, что компании требовалось сочетание современных GPU, локального размещения и интеграции с облачным контуром. Использование платформы Nvidia MGX позволяет гибко масштабировать мощности по мере роста ИИ-продукта.
