AWS 博客：vLLM 双向 KV 传输降低多轮智能体首字延迟
AWS 博客介绍 vLLM 中的双向 KV 缓存传输：解码节点在后续轮次把已算好的 KV 回传给预填充节点，避免重复计算对话历史。AWS 称在 P5en 实例的多轮基准中，Qwen3-32B 首字延迟改善最高 1.6 倍，GLM-5-FP8 最高 3.3 倍，实际结果随负载与配置而异。
核心事实
AWS 在官方博客中介绍了一项已贡献给 vLLM 的能力：双向 KV 缓存传输。在预填充—解码分离（P-D disaggregation）架构下，传统做法只把 KV 缓存从预填充节点单向传给解码节点；新机制允许解码节点在后续轮次把此前计算好的 KV 块回传给预填充节点，从而避免对系统指令、历史提问、工具结果和模型回复等累积上下文重复做预填充计算。
该功能通过扩展 NVIDIA Inference Xfer Library（NIXL）KV 连接器实现，并需要一个能感知 KV 缓存的轻量路由组件，按 conversation_id 保存块位置元数据（不保存 KV 张量）。解码端可用 decoder_kv_blocks_ttl 控制缓存块保留时长，博客给出的默认值为 480 秒；预填充端则由可配置的 KV 重算阈值决定是否发起反向读取。
背景与影响
多轮智能体负载每轮都会重发完整对话历史，上下文越长，重复预填充占用的加速器算力越多，首字延迟（TTFT）也越容易上升。AWS 表示，该特性最初在配备 EFA 网络的 Trainium 实例集群上构建和验证，后作为与加速器无关的能力贡献给 vLLM；博客展示的结果来自带 EFA 的 Amazon EC2 P5en GPU 集群。
据博客披露的多轮基准，在 1P1D 部署下，双向 KV 传输使 Qwen3-32B 的 TTFT 改善最高约 1.6 倍，zai-org/GLM-5-FP8 最高约 3.3 倍。AWS 同时说明，结果会随负载与配置变化。
限制与来源
上述数字为 AWS 自行发布的基准结果，尚未见独立第三方复现；不同模型、实例类型、网络条件与对话长度下的表现可能不同。缓存块保留时间、重算阈值等参数需按实际环境调整，路由组件博客称 vLLM GitHub 提供了示例代理，可自行适配。功能可用性、支持范围与默认参数请以 vLLM 与 AWS 官网当前信息为准。
来源：AWS Machine Learning 博客，作者 Sunita Nadampalli，2026 年 10 月 19 日。