Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群引入缓存感知路由
Google Cloud 在 PyTorch Conference North America 上发布开源分布式推理栈 llm-d 1.0，这是该项目首个稳定版本，新增多租户服务质量、路由高可用、预填充与解码分离部署等能力，并支持在 TPU 与多种 GPU 上运行。
核心事实
Google Cloud 在 PyTorch Conference North America 上发布 llm-d 1.0，这是该开源分布式推理栈的首个稳定版本。据 MarkTechPost 报道，llm-d 是一个 Kubernetes 原生的推理层，可把 vLLM 或 SGLang 模型服务器整合为一个协同调度的资源池，主要面向自托管的智能体与强化学习负载。1.0 版本提供 v1 API，新增多租户优先级与公平性流控、路由高可用与热备、预填充与解码池联合滚动的 DisaggregatedSet、会话感知路由，以及从 Google Cloud Pub/Sub 或 Redis 拉取任务的异步推理处理器。项目采用 Apache 2.0 许可证。
背景与影响
llm-d 于 2025 年由 Red Hat、IBM、Google Cloud、CoreWeave 与 NVIDIA 共同发起，Red Hat、IBM 与 Google 为主要维护方，项目于 2026 年 3 月 12 日被 CNCF 接纳为 Sandbox 项目。其路由基于 Kubernetes Gateway API Inference Extension，会记录各副本持有的缓存前缀，再结合负载与预测延迟选择副本；显存不足时 KV 缓存可下沉至主机内存、SSD 或 Managed Lustre。Google 自报的基准显示，在 Ironwood TPU 的编码负载上，中位首 token 时延下降超过 85%，吞吐提升 2.4 倍；一个 17,000 节点的多区域 GKE 部署实现 2.9 倍吞吐扩展。上述数字均为厂商自报，尚未获独立验证。
限制与来源
Google 同时披露，强化学习时间切片场景下加速器利用率仅提升至 70% 以上，仍有约 30% 空闲。llm-d 需在集群规模的 Kubernetes 环境部署，并非单机方案，也没有托管 API，在 Google Cloud 上由 GKE Inference Gateway 以托管服务形式运行路由。具体支持范围、版本与部署方式请以项目官网及官方文档当前信息为准。本文信息来自 MarkTechPost 报道，性能数据均引自 Google 与采用方，未经本站实测。