斯坦福与伯克利团队提出 TokenGate：令牌门控注意力让长上下文预填充最高提速 11.3 倍

核心事实

据 MarkTechPost 报道，斯坦福大学与加州大学伯克利分校的研究人员发布了 TokenGate，一个面向长上下文预填充（prefill）的模块。其思路是让已有大模型对输入做“略读”：在某一层插入小型 MLP 门控，为每个令牌打分并保留得分最高的 K 个，被剪掉的令牌不再参与后续层计算，也不生成 KV 条目。研究团队称，该方法在 5 项任务上相对完整预填充实现 1.4 至 11.3 倍的首令牌时间（TTFT）加速，峰值预填充显存下降 1.5 至 3.4 倍，且无精度损失。代码与检查点已在 GitHub 以 Apache-2.0 协议发布。

背景与影响

Transformer 的注意力开销随序列长度呈二次增长，而免训练剪枝在高剪枝率下往往损失精度，改动架构又常需从头预训练。TokenGate 借鉴混合专家（MoE）路由器的做法，把不可微的 top-K 选择转化为注意力 logits 上的偏置，使打分器可端到端训练，并配合可学习的逐头增益与温度参数。实验基于 Qwen3-1.7B 与 Qwen3.5-2B，上下文最长 128k 令牌，对比 FastKV、SlimInfer、DASH、GemFilter、FlexPrefill 与 MInference 等基线。报道称，在 2WikiMultihopQA 上达到完整上下文 95% 精度时，预填充快 3.0 倍、显存少 2.7 倍；在混合注意力的 Qwen3.5-2B 上，TokenGate 可剪枝 FastKV 无法处理的 Gated DeltaNet 层。

限制与来源

上述加速与显存数据均为研究团队自报，各基线的测试环境不同，不宜直接横向比较；报道中部分任务的最差加速比降至 1.4 倍。计时基于单张 A100、批大小为 1，训练使用 4 张 A100。部署需 Python 3.10+ 与 CUDA PyTorch 2.9+，可选 FlashAttention-2 内核，缺失时回退至 FlexAttention。目前无托管 API，需本地运行，具体支持范围与许可证以官方仓库当前信息为准。本文信息来自 MarkTechPost 报道，论文细节尚未经独立复现确认。