DeepSeek 开源 DeepInfer 推理框架，支撑 DeepSeek-V4.1-Flash

核心事实

据 MarkTechPost 报道，DeepSeek 已将其生产服务所用的推理框架 DeepInfer 开源，采用 Apache 2.0 许可证；同时发布了采用 MIT 许可证的 token 编解码层 deepseek-recipe。据其 GitHub README，DeepInfer 支撑 DeepSeek 的大规模生产服务，是 DeepSeek-V4.1-Flash 背后的推理引擎。该框架最初主要基于 vLLM 构建，并借鉴了 SGLang 与 TensorRT-LLM 的思路。

按素材披露，DeepInfer 目前仅支持 DeepSeek-V4.1-Flash 一个模型，模型卡标注上下文窗口为 100 万 token；硬件上支持 NVIDIA SM100（Blackwell）GPU 与华为昇腾 950 NPU。其技术栈包含 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及自研 TileLang 内核，并叠加注意力数据并行加 Wide-EP、置信度调度的投机解码 DSpark、滑动窗口注意力有界重放、异步调度与结构化输出等机制。

背景与影响

对开发者而言，这是一次少见地公开前沿实验室真实服务栈的机会。DeepSeek 在部署问答中称，单个集群每天服务 155 万亿 token。素材中的性能数字均为 DeepSeek 自报：在 131,072 上下文、4 块 GPU 做 prefill、64 块做 decode 的配置下，decode 在每 rank 256 请求时超过 25,000 输出 token/s/GPU；DSpark 将需验证的草稿 token 减少约 30%，接受长度基本不变。

限制与来源

本次发布仅覆盖离线推理，KV cache 系统、P/D 分离与负载均衡未包含在内，DeepSeek 称这些组件与内部基础设施紧耦合。构建需 Linux、GCC 13 及以上、Python 3.12，以及 CUDA 13 或 CANN 9.2；素材称最小高效生产单元为 64 块 prefill GPU 加 64 块 decode GPU。上述性能与部署数据均来自厂商自述，尚未获独立验证；功能、硬件与许可细节请以官网及代码仓库当前信息为准。来源：MarkTechPost。