Компания DeepSeek представила DeepInfer — фреймворк для запуска нейросетей, призванный снизить затраты на вычисления и электроэнергию. Инструмент опубликован на GitHub под лицензией Apache 2.0, что разрешает его использование в коммерческих целях.
Решение оптимизировано для работы с моделью DeepSeek-V4.1-Flash и поддерживает метод спекулятивного декодирования для ускорения генерации текста. Фреймворк позволяет распределять нагрузку между несколькими процессорами.
DeepInfer совместим с графическими процессорами Nvidia SM100 и чипами Huawei Ascend 950. Поддержка разных аппаратных платформ упрощает развертывание моделей в условиях ограниченного доступа к конкретному оборудованию.
Ранее, 17 октября, компания выпустила обновленную версию модели V4.1-Flash-1017. По данным разработчика, она эффективнее справляется с задачами программирования и агентными операциями, а её показатель DeepSWE вырос с 74,2 до 77,0.
