AWS 博客介绍 vLLM 推模式 KV 传输，称可改善 TTFT 与 TPOT
AWS 博客发文介绍 vLLM 的推模式（push-based）KV 传输方案，称其将预填充后的传输协调与准备工作移出关键路径，在 1P1D 部署的基准测试中相较拉模式取得更低 TTFT 与 TPOT。相关数据来自 AWS 自测，官方称结果取决于工作负载与配置。
核心事实
AWS 在官方博客发文，介绍其为开源推理与服务引擎 vLLM 引入的推模式（push-based）KV 缓存传输方案。据文章说明，vLLM 的预填充-解码（P-D）分离架构把两个阶段放在不同引擎实例上运行，但解码开始前必须先把 KV 缓存从预填充实例传到解码实例，因此传输效率直接影响首 token 延迟（TTFT）。vLLM 通过 NVIDIA Inference Xfer Library（NIXL）连接器完成该传输，默认采用拉模式（pull-based）：预填充完成后，路由器把源元数据转给解码实例，由后者分配目标块并发起 NIXL READ。文章称，这些协调与准备步骤串行发生在预填充之后、解码之前，因而拉长了 TTFT 关键路径。
背景与影响
推模式的设计思路是把预填充后的传输协调与准备工作移出关键路径：解码实例在分配本地块时即向预填充实例登记目标位置，预填充实例完成计算后由后台线程发起 NIXL WRITE，直接写入解码端已注册的内存。文章称，该特性先在通过 AWS EFA 互联的 Trainium 实例集群上构建和验证，随后作为与加速器无关的特性贡献给 vLLM。博客给出的基准测试基于 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署与 Qwen3-32B 模型，称推模式相较拉模式 TTFT 最高改善 3 倍、每输出 token 时间（TPOT）最高改善 30%。
限制与来源
上述性能数字均为 AWS 自行公布的基准结果，文章亦明确表示结果取决于工作负载与配置，并非通用保证。该特性在 vLLM 中的可用版本、支持硬件范围与默认配置，素材未作说明，使用前请以 vLLM 与 AWS 官网当前信息为准。本文信息来自 AWS 机器学习博客文章《Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM》，作者为 Sunita Nadampalli 与 Nicolò Lucchesi。