DeepInfer 对比 vLLM、SGLang 与 TensorRT-LLM
渊源、何时选哪套栈、功能清单，以及开源不包含什么。Prefill 不是独立产品。
渊源
官方 Acknowledgments：DeepInfer 最初主要基于 vLLM 构建，并受到 SGLang 与 TensorRT-LLM 启发。这是谱系说明——不等于拥有 vLLM 的全部特性。
何时选 DeepInfer，何时选 vLLM
| 选项 | 适合场景 | 离线 V4.1-Flash 路径？ | 硬件门槛 |
|---|---|---|---|
| DeepInfer | 要在已列加速器上跑 DeepSeek 开源引擎的 V4.1-Flash 离线推理 | 是（主路径） | SM100 / 昇腾 950 |
| vLLM / SGLang | 更广模型库、其他 GPU，或已统一该栈 | 取决于对方支持 | 其自身矩阵 |
| TensorRT-LLM | NVIDIA 侧 TRT 流水线 | 另一产品 | NVIDIA / TRT |
| 官方 API | 托管推理；无 GPU 运维 | 托管 | 不适用 |
功能清单（DeepInfer 开源）
| 能力 | 开源含？ | 依据 |
|---|---|---|
| 离线 DeepSeek-V4.1-Flash | 是 | README 支持模型 |
| 优化算子（FlashMLA、DeepGEMM、DeepEP…） | 是 | README 特性说明 |
| Attention DP / balanced CP · MoE EP + EPLB | 是 | README |
| DSpark + 置信度调度校验 | 是 | README 环境变量 |
| SWA bounded replay · 异步调度 · 结构化输出 | 是 | README |
| Batch-invariant / 确定性采样（NVIDIA） | 是 | README |
| 完整 KV cache 系统 | 否 | 列为完整服务所需、未包含 |
| 完整 VE/Prefill/Decode 分离服务 | 否 | 引擎侧多数已有；服务胶水未开源 |
| P/D 副本的 DP 负载均衡 | 否 | 列为所需、未包含 |
开源不包含什么
- 开箱即用的多租户在线 API + 长保留 KV
- 生产级 Prefill/Decode 分离服务（同一引擎内存在两阶段；完整胶水在树外）
- prefill / decode 副本的 DP 负载均衡器
- 智能体运行时 — 见 DeepSeek Harness · dshbase.com
- 仅协议转换 — 见 deepseek-recipe（不推理）
Prefill ≠ 独立产品。Prefill 与 Decode 是同一 DeepInfer 引擎的两个阶段。4× SM100（prefill）与 64× SM100（decode）是基准拓扑，不是两次安装。见 Prefill vs Decode。
能力对比（指南综合）
社区文章常按下列维度对比各栈。此表是指南核对清单，不是厂商评分——请以各方最新 README 为准。
| 维度 | DeepInfer 开源 | vLLM | SGLang |
|---|---|---|---|
| 主焦点 | DeepSeek V4.1-Flash 离线引擎 | 广模型库 / 通用服务 | 高速服务 + 结构化工作流 |
| 渊源 | 主要基于 vLLM；受 SGLang / TRT-LLM 启发 | 原项目 | 独立栈 |
| DeepInfer README 硬件 | SM100 + 昇腾 950 | 广泛 NVIDIA（及其他后端） | 偏 NVIDIA |
| 离线算子 / EP-DP | 有（FlashMLA 系、EP/DP/CP） | 有 | 有 |
| 完整 KV + PD 服务 + DP LB | 开源未含 | 视版本 | 视版本 |
| 官方 Docker（DeepInfer） | 无 — 社区 Dockerfile 仅为示例 | 常见项目镜像 | 常见项目镜像 |
官方 Prefill / Decode 曲线
来自 DeepInfer doc/images/（Apache-2.0）。测于 4× SM100（prefill）与 64× SM100（decode）——同一引擎，两个阶段。
