Компания DeepSeek открыла исходный код своего внутреннего фреймворка DeepInfer. Решение направлено на оптимизацию работы с крупными языковыми моделями, позволяя разработчикам и организациям повысить пропускную способность и снизить задержки при развертывании ИИ-сервисов.
Фреймворк включает высокопроизводительные операторы и оптимизированный движок вывода. Инструмент поддерживает распределенные вычисления, спекулятивную декодировку, SWA Bounded Replay и структурированный вывод. DeepInfer совместим с аппаратными платформами Nvidia и Huawei Ascend.
Одновременно с фреймворком компания представила компонент deepseek-recipe для кодирования и декодирования токенов. Он полностью соответствует логике официального API DeepSeek, что обеспечивает идентичность работы локальных развертываний и фирменных сервисов компании.
На базе DeepInfer уже реализован сервис DeepSeek V4.1 Flash. В дальнейшем компания планирует обновлять код и оптимизации для новых моделей непосредственно в открытом доступе, способствуя снижению затрат на вычислительные мощности и электроэнергию.
