Компания Hangzhou DeepSeek Artificial Intelligence Basic Technology Research открыла исходный код фреймворка DeepInfer, который используется в ее производственных сервисах. Проект опубликован на GitHub под лицензией Apache 2.0.
DeepInfer поддерживает модель DeepSeek-V4.1-Flash и совместим с графическими процессорами Nvidia SM100 Blackwell, а также с нейропроцессорами Huawei Ascend 950. Функции обеспечения идентичности вывода и бенчмарки работают только на чипах Nvidia.
Система использует технологию DSpark для спекулятивного декодирования, что сокращает количество проверяемых токенов на 30% и повышает пропускную способность на 4–7%. Другой метод обработки позволяет почти вдвое снизить объем вычислений при префилле.
Код для управления кэшем ключей-значений и балансировки нагрузки пока не опубликован. Для эффективной работы требуется минимум 64 графических процессора для префилла и 64 для декодирования. В основе фреймворка лежит форк vLLM.
DeepSeek планирует развернуть не менее 160 000 ускорителей Ascend 950DT в дата-центре во Внутренней Монголии. Релиз состоялся после распоряжения Министерства внутренней безопасности США об удалении продуктов DeepSeek из систем федеральных агентств.
