NVIDIA 与普林斯顿提出 ReplaySSM：缓存 SSM 输入以加速混合模型解码

核心事实

NVIDIA 开发者博客介绍了与普林斯顿大学 Dao AI Lab 合作提出的 ReplaySSM 方法，用于加速混合模型（SSM 层与少量注意力层交替）的解码。该方法把状态空间模型的状态表示为一个检查点（checkpoint）加上一小段近期输入记录组成的缓冲区，从而把输出计算与状态更新分开：多数步骤只追加输入并基于检查点与缓冲区计算输出，缓冲区写满时才执行一次 flush，把缓冲输入折叠进检查点并写回显存。

据该博客，在 NVIDIA Blackwell Ultra B300 GPU、批大小 256 的测试中，SSM 解码内核提速 1.46 至 1.80 倍，解码步骤整体提速 1.20 至 1.47 倍；在 120B 级别模型上，推测解码吞吐提升 1.85 至 2.10 倍。相关论文题为《ReplaySSM: Cache SSM Inputs, Not State》，代码已在 GitHub 发布，并集成进 NVIDIA TensorRT-LLM、vLLM 与 FlashInfer。

背景与影响

混合模型用固定大小的 SSM 状态替代随上下文增长的 KV 缓存，但在服务级批大小下，SSM 层反而可能成为延迟瓶颈。博客指出，SSM 状态同时承担“读取以产生输出”和“更新以供下一步使用”两个职责，由此带来三个问题：状态显存流量大、推测解码回滚困难、量化状态的舍入误差会在循环中反复累积。ReplaySSM 通过缓存输入而非状态来分别应对这三点，并支持仅输出求值（output-only evaluation），即不为草稿 token 构造中间状态。

博客称，使用高精度检查点做递推、低精度副本供读取，可限制量化误差累积，在 GPQA-Diamond 上四个受评模型中有三个与 FP32 准确率相差约 2 个百分点以内。文中提到 Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 均属此类混合架构。

限制与来源

上述性能与准确率数字均来自该博客及其论文所述评测，测试环境为单 GPU、无张量并行，窗口大小 L=16，性能测试保持 SSM 状态为 FP32；博客也说明在批大小为 1 时 ReplaySSM 未带来加速。这些结果尚未经独立第三方验证，实际表现会随模型、硬件、批大小与软件版本变化，具体支持情况与可用性请以 NVIDIA 及各项目官网当前信息为准。本文不构成任何投资或采购建议。

来源：NVIDIA 开发者博客《ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding》。