Google 开源 TPU Sync：为 Cloud TPU 提供 KV 缓存传输库

核心事实

Google Cloud 发布了 TPU Sync，这是一个以 Apache-2.0 许可开源的 C++ 库，用于在 Cloud TPU 上搬运 KV 缓存与模型权重。据 MarkTechPost 报道，该库把 TPU HBM、主机 DRAM、共享存储和数据中心网络视为统一的内存层级，核心能力是通过异步 DMA 传输按 TPU 原生分块布局存放的张量，避免 Python 序列化与中间缓冲。它同时覆盖两类任务：推理过程中的 KV 缓存状态迁移，以及强化学习中训练端到采样端的权重广播。库提供面向 PyTorch 与 JAX 的 Python wheel，README 列出的运行环境为 Cloud TPU v7x（Ironwood）与 v6e。

背景与影响

该库针对的是「搬运模型状态」而非「计算」这一环节的瓶颈。据 Google 自述的内部测试（2026 年 7 月，TPU v7x 2x2x1 拓扑），在预填充／解码分离式服务中，Qwen3 235B 的中位 KV 传输延迟从数秒降至约 230 毫秒，KV 传输开销下降逾 90%；低并发下 235B 与 480B 模型的平均首 token 时延分别下降 60% 与 90%。前缀缓存场景下，有效缓存容量提升一个数量级，64K 上下文负载的平均首 token 时延最多下降 90%。集成方面，它作为 vLLM-TorchTPU 的 KV 连接器和 SGLang-TorchTPU 的 P/D 传输后端，并在 GKE 上供 llm-d 1.0 使用。Google 表示 Meta 与 Wayfair 正在评估该架构。

限制与来源

上述性能数字均为 Google 自行公布的早期内部测试结果，官方说明实际表现会有差异，且未发布强化学习相关数据。README 明确表示该库目前尚不建议用于通用场景，存储分层与 RL 权重传输仍属实验性质。带宽数据（如单台 Ironwood 主机最高 223 GB/s）衡量的是主机 PCIe DMA 路径，与其他方案公布的网络带宽不具直接可比性。本文信息来自 MarkTechPost 报道及所引 Google 官方材料，功能、支持硬件与许可条款请以官网与代码仓库当前信息为准。