Microsoft обновила фреймворк Windows ML для Windows 11, добавив экспериментальную поддержку локального вывода моделей в форматах GGUF и ONNX. Нововведение было представлено на октябрьском мероприятии Windows и Surface. Ключевым компонентом обновления стал Windows ML Runtime API, обеспечивающий более глубокую интеграцию с системой и повышенную производительность.
Компания сотрудничает с сообществами llama.cpp и GGUF, что позволяет разработчикам импортировать модели с платформы Hugging Face и запускать их локально. В рамках работы над производительностью Microsoft также взаимодействует с Nvidia, совместно оптимизируя код для проекта llama.cpp, что упрощает развертывание ИИ-решений на устройствах под управлением Windows.
Вместе с новым API компания представила интерфейсы Text Generation API и Speech Recognition API для создания функций генерации текста и распознавания речи. Хотя поддержка ONNX Runtime API сохраняется в полном объеме, Microsoft планирует сосредоточить будущие оптимизации для Windows именно на новом Windows ML Runtime API.
Оба варианта среды выполнения доступны в текущей версии системы, что дает разработчикам возможность самостоятельно выбирать время для перехода на новый API. Инструментарий позволяет снизить зависимость от специфических аппаратных оптимизаций при создании приложений с использованием локальных моделей ИИ.
