Intel представила Intel Inference Microservices — контейнеризированное решение для запуска LLM на процессорах Xeon. Сервис автоматизирует настройку параметров, избавляя от необходимости ручной оптимизации, которая ранее занимала несколько дней.
Каждый микросервис работает как отдельный контейнер с API, совместимым с OpenAI. При запуске система автоматически определяет модель процессора Xeon, количество ядер, топологию NUMA и наличие аппаратных ускорителей, включая AMX, AVX-512, AVX2 и VNNI.
Первая версия базируется на движке vLLM, поддерживает точность BF16 и работает в Docker или Kubernetes 1.24 и выше. Требуются процессоры Intel Xeon 4-го, 5-го или 6-го поколений и рекомендуется 32 ГБ оперативной памяти.
Контейнер применяет проверенные профили конфигурации в зависимости от обнаруженного оборудования. Если специфические настройки отсутствуют, используется базовый шаблон. Пользователи могут проверить параметры через инструменты командной строки, такие как detect-hardware.
Релиз является частью стратегии по унификации работы с ИИ на оборудовании Intel. В будущем поддержку распространят на графические процессоры, включая серию Crescent Island, что позволит переносить рабочие нагрузки без переписывания кода.
