Платформа ZuBrIQ использует шлюз на базе LiteLLM для интеграции Claude Code, Codex и OpenCode с альтернативными моделями, такими как GLM-5.3 и Qwen3.8-27B. Система позволяет использовать стабильные псевдонимы моделей, например zubr или zubr-coder, скрывая от клиентов переключение между маршрутами и изменение весов.
В процессе настройки разработчики столкнулись с проблемами: молчаливым переходом на резервные модели, отсутствием учета расходов и некорректной обработкой изображений. Решением стали использование нативных провайдеров LiteLLM, ручное указание стоимости токенов в параметрах модели и кеширование текстовых описаний изображений по хешу sha256.
Для работы с локальными данными используется модель Qwen3.8-27B, развернутая на четырех картах V100 по 16 ГБ с квантованием AWQ INT4 и тензорным параллелизмом. Из-за особенностей оборудования разработчики принудительно задают объем KV-кеша и используют задержки при запуске процессов, чтобы избежать ошибок нехватки памяти при инициализации нескольких инстансов.
Текущая конфигурация поддерживает контекстное окно 262 144 токена и использует парсер qwen3_xml для вызова инструментов. Переход с модели MoE 35B-A3B на плотную 27B позволил добавить нативную поддержку зрения, однако увеличил время генерации первого токена с 0,6 секунды до 1,3 секунды.
