DeepInfer - DeepSeek 开源的生产级推理框架

DeepInfer是什么

DeepInfer 是 DeepSeek 开源的生产级推理框架，源自 vLLM，支持 V4.1 Flash，可运行于英伟达 SM100 与华为昇腾 950。DeepInfer 采用 PD 分离部署，靠 3FS 缓存集群实现 96% 输入命中、Prefill 提效 25 倍，SWA Bounded Replay 令 Prefill 计算量减半，DSpark 投机解码再提吞吐 6%，线上单集群日处理 155 万亿 Token。同步开源的 deepseek-recipe是生产级 Token 编解码组件，负责统一 Chat Completions、Responses、Messages 三种 API 格式，处理注入防护、并行分词与流式输出，使自部署模型的接口表现与官方 API 完全一致。

DeepInfer的主要功能

• 分布式推理：支持注意力数据并行、上下文并行及 MoE 专家并行，支撑单集群日处理 155 万亿 Token 的大规模生产服务。
• 跨硬件平台兼容：同时支持英伟达 SM100 GPU 与华为昇腾 950 NPU，覆盖两大算力生态。
• 长上下文高效处理：通过 SWA Bounded Replay 将缓存未命中的重算成本压缩到固定 128 个 Token，与上下文长度和层数解耦。
• 推测解码加速：集成自研 DSpark 与置信度验证调度，让模型一次推进多个 Token，显著提升生成吞吐。
• 负载均衡调度：动态均衡专家与请求的分布，线上最繁忙的卡仅高出平均负载 9%。
• 缓存复用：依托 3FS 存储集群实现 96% 的输入缓存命中率，Prefill 吞吐提升约 25 倍。

DeepInfer的技术原理

• PD 分离部署：推理分为 Prefill 与 Decode 两个阶段：Prefill 一次性处理数万 Token 的输入，是计算密集型；Decode 逐 Token 生成，受限于显存带宽读取。DeepInfer 将两者部署在不同硬件上，Prefill 用常规 8 卡服务器，Decode 用 64–128 卡超节点，两类机器数量按约 1:1 配置，使各自按最优硬件特性运行。
• 前缀缓存体系：Agent 场景下每次工具调用都会重发完整历史，其中大部分内容已计算过。系统只缓存从首 Token 起完全一致的前缀，命中部分直接复用 KV Cache，仅计算新增部分。缓存存放于独立的 3FS 分布式存储集群，用 128 Token 为块写入，Agent 流量保留 3 天、聊天流量保留 7 天。
• SWA Bounded Replay：V4.1 Flash 的部分层采用滑动窗口注意力，每个 Token 只关注最近 128 个 Token，这部分 KV Cache 不写入硬盘、仅驻留在计算机器的内存中。未命中时旧方案需按”层数 × 窗口长度”精确重算，V4.1 改为只重算最后 128 个 Token、且注意力仅在这 128 个内计算，得到近似窗口缓存，重算成本固定。
• DSpark 推测解码与异步调度：由轻量草稿模块先连续猜测 5 个 Token，再由目标模型批量验证，猜对的直接采用、首个猜错处由大模型纠正，一步计算即可推进多个 Token。置信度头预估各猜测被接受的概率，低可能性的不再验证、把算力让给其他请求，相比固定验证 5 个的方案线上吞吐提升 6%。同时 CPU 调度第 N+1 步与 GPU 计算第 N 步重叠执行，消除 GPU 在调度间隙的空转。

微信关注回复“开源”，加入AI开源项目交流群

如何使用DeepInfer

• 确认环境前置条件：Linux 系统，GCC ≥ 13.0、Python 3.12，NVIDIA 平台需 CUDA 13，昇腾平台需 CANN 9.2。
• 克隆仓库：git clone https://github.com/deepseek-ai/DeepInfer 并进入目录。
• 创建干净环境：新建并激活一个空的 Python 3.12 虚拟环境，避免依赖冲突。
• 选择硬件平台并编译：运行 export DEEPINFER_ACCELERATOR=nvidia（昇腾用 ascend）后执行 ./build.sh 从源码构建，注意该环境变量需在后续运行环境中保持生效。
• 准备模型权重：默认首次运行会自动从 Hugging Face 下载 deepseek-ai/DeepSeek-V4.1-Flash-1017，或用 export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 指向本地副本。
• 运行离线推理示例：执行 python examples/offline_inference.py 启动推理，更多用法参考仓库 examples 目录。

DeepInfer的核心优势

• 经过生产验证的超高性能：已在 V4.1 Flash 大规模线上服务中实际运行，单集群日处理 155 万亿 Token，首字延迟仅 400ms，生成速度 230 tokens/s。
• 极高的缓存复用效率：96% 的输入命中前缀缓存，Prefill 每卡吞吐从不计缓存的 6 万提升至 150 万 tokens/s，相差 25 倍。
• 长上下文成本大幅降低：SWA Bounded Replay 将缓存未命中的重算量固定为最后 128 个 Token，使 Prefill 总计算量近乎减半，且成本与上下文长度无关。
• 生成效率行业领先：DSpark 推测解码叠加置信度调度与异步调度，一步可推进多个 Token，线上吞吐相比固定验证方案再提升 6%，每卡每秒生成 14K Token。
• 卓越的负载均衡能力：MoE 专家副本每 10000 步动态重排，线上最忙的卡仅高出平均负载 9%，整体达到理想均衡状态的 80%。
• 双硬件平台兼容：同时支持英伟达 SM100 GPU 与华为昇腾 950 NPU，是目前极少数覆盖两大算力生态的生产级推理框架。

DeepInfer的项目地址

• GitHub仓库：
  • https://github.com/deepseek-ai/DeepInfer
  • https://github.com/deepseek-ai/deepseek-recipe

DeepInfer的同类竞品对比

维度	DeepInfer	vLLM
定位	DeepSeek 模型的生产级推理框架	通用大模型推理与服务框架
模型支持	目前仅 DeepSeek V4.1 Flash	几乎所有开源模型（数百种）
硬件支持	英伟达 SM100、昇腾 950	英伟达全系 + AMD/昇腾/TPU 等
核心优化	DSpark 推测解码、SWA Bounded Replay、96% 缓存命中	PagedAttention、Continuous Batching、Prefix Caching
性能水平	单集群日处理 155 万亿 Token，每卡 14K tokens/s（Decode）	生态主流基准，通用场景性能优秀
生产验证	DeepSeek 官方线上大规模服务	全球大量企业线上部署，生态最成熟
API 对齐	配合 deepseek-recipe 可完全对齐官方 API	支持 OpenAI 兼容 API
服务化能力	开源版仅离线推理	完整的在线服务、API 服务、集群调度
生态与社区	刚开源，社区起步	最活跃的推理框架社区，插件丰富
适用场景	自部署 DeepSeek 模型、追求官方级性能	多模型通用部署、快速上线的服务场景

DeepInfer的应用场景

• 企业私有化部署：企业在本地数据中心部署 V4.1 Flash，借助 deepseek-recipe 对齐官方 API 行为，实现数据不出域的合规推理。
• 国产化算力适配：原生支持华为昇腾 950 NPU，满足政企、金融等信创场景摆脱英伟达依赖的需求。
• 大规模 Agent 服务：96% 前缀缓存命中率大幅降低多轮工具调用的重复计算，适合高并发 Agent 平台低成本运营。
• 长上下文文档处理：SWA Bounded Replay 将长文本 Prefill 计算量近乎减半，适合合同分析、代码库理解等超长输入场景。
• 高性价比自建推理服务：每卡高吞吐 + 230–300 tokens/s 生成速度，适合创业公司替代按量付费 API，规模化自建省钱。