EN 中文

DeepSeek DeepInfer 生产级推理

面向 DeepSeek-V4.1-Flash 的离线推理引擎，支持 SM100 与 Ascend 950。与 deepseek-recipe 协议层、DeepSeek Harness 智能体运行时各司其职。

GitHub 上的 DeepInfer 安装清单

三层结构：DeepInfer、deepseek-recipe、DeepSeek Harness

DeepInfer、deepseek-recipe 与 DeepSeek Harness 解决不同问题。Prefill 与 Decode 是同一引擎的两个阶段。

引擎

DeepInfer

生产推理框架。开源路径支持 DeepSeek-V4.1-Flash 离线推理。

  • SM100 · Ascend 950
  • Apache 2.0

硬件说明 →

协议

deepseek-recipe

请求转换、提示词、分词。不执行推理。

  • pip install deepseek-recipe
  • MIT

Recipe 指南 →

DeepInfer 对比 deepseek-recipe 与 DSH

层级是什么推理？许可证入口
DeepInfer离线推理引擎（V4.1-Flash）是Apache 2.0安装
deepseek-recipe协议 / 提示词 / 分词否MITRecipe
DeepSeek Harness智能体运行时不适用见上游dshbase
Prefill / Decode同一引擎的两个阶段同一产品—FAQ

官方 Prefill / Decode 曲线

来自 DeepInfer doc/images/。生产集群数字（155 万亿 tokens/天、$38/GPU·小时等）不是开源安装结果——见 FAQ 归属 与 请求流水线。

Prefill Pareto
Prefill Pareto · 4× SM100 拓扑（README）
Decode Pareto
Decode Pareto · 64× SM100 拓扑（README）

谁该跳过，谁适合安装

详见 硬件门槛。

请跳过，若你…

  • 只需官方托管 API
  • 要的是智能体框架 → DSH
  • 只需协议层 → recipe
  • 没有 SM100 或 Ascend 950
  • 需要完整在线服务（KV cache、PD 分离、DP 负载均衡——本版本未包含）

适合安装，若你…

  • 要离线跑 DeepSeek-V4.1-Flash
  • 具备 Linux、Python 3.12、GCC ≥ 13，以及 CUDA 13 或 CANN 9.2
  • 能按官方 README 完成构建

打开安装指南

继续阅读

硬件

SM100 / Ascend 950、前置条件、未包含组件。

博客

硬件门槛与 Prefill/Decode 专题。

对比 vLLM

包含 / 不包含 / 与 API。

Recipe

协议层如何与引擎配合。