什么是门控 DeltaNet（Gated DeltaNet）？一种把门控与 Delta 更新规则结合起来的线性注意力架构
门控 DeltaNet（Gated DeltaNet）是论文《Gated Delta Networks: Improving Mamba2 with Delta Rule》提出的一种线性注意力架构。它把用于自适应记忆控制的门控机制与用于精确记忆修改的 Delta 更新规则结合起来，形成门控 Delta 规则，并配套设计了面向现代硬件的并行训练算法。该论文称，其在语言建模、常识推理、上下文检索、长度外推与长上下文理解等多项基准上优于 Mamba2 与 DeltaNet。
门控 DeltaNet（Gated DeltaNet）是一种线性注意力（linear attention）架构，由论文《Gated Delta Networks: Improving Mamba2 with Delta Rule》提出。它把两种原本各自独立发展的机制——用于自适应记忆控制的门控（gating），与用于精确记忆修改的 Delta 更新规则（delta update rule）——合并为一条「门控 Delta 规则（gated delta rule）」，并为此设计了面向现代硬件的并行训练算法。它要解决的问题是：线性 Transformer 虽然比标准 Transformer 更高效，但在检索类任务和长上下文任务上表现受限。
为什么重要
标准 Transformer 的注意力机制在序列长度增长时，计算与显存开销会显著上升，这使它在长上下文场景中代价高昂。线性 Transformer 因此受到关注，被当作标准 Transformer 的高效替代方案。但该论文指出，这类模型在检索（retrieval）和长上下文（long-context）任务上的性能一直有限。
针对这一局限，此前的研究沿两条不同的路线展开。一条是门控：为记忆状态引入自适应的控制信号，使模型能够快速擦除不再需要的信息。另一条是Delta 更新规则：以更精确的方式对记忆状态做定向修改，而不是笼统地覆盖写入。这两条路线各自解决了一部分问题，但此前没有被放在同一个框架里统一处理。
该论文的观察是：这两种机制其实是互补的——门控擅长快速擦除，Delta 规则擅长定向更新。把二者结合，才有可能同时获得「该忘的能迅速忘掉」和「该记的能准确写入」这两种能力。这一判断构成了门控 DeltaNet 的出发点，也是它相对于 Mamba2、DeltaNet 等已有模型试图改进的地方。
工作机制
按照该论文的叙述，门控 DeltaNet 的核心做法可以拆成以下几个要点：
- 识别两种机制的互补性。论文首先把门控与 Delta 更新规则分别对应到记忆控制的两种需求上：门控负责快速擦除记忆，Delta 规则负责对记忆做有针对性的更新。二者不是替代关系，而是可以叠加的能力。
- 提出门控 Delta 规则。在上述观察的基础上，论文把门控引入 Delta 更新规则之中，形成统一的「门控 Delta 规则」。这是该架构在规则层面的核心贡献，也是名称的来源。
- 设计并行训练算法。仅有规则定义还不够，还需要能在实际硬件上高效训练。论文为此开发了专门针对现代硬件优化的并行训练算法，使这一循环式（recurrent）的记忆更新过程可以被并行化处理。
- 构建混合架构。论文进一步把门控 DeltaNet 层与滑动窗口注意力（sliding window attention）层或 Mamba2 层组合，形成混合（hybrid）架构。论文称，这种组合同时改善了训练效率和任务表现。
需要说明的是，上述内容是论文作者对自身方法的描述与主张，属于该论文提出的设计与结论，并不等同于业界已经形成的共识。
典型例子
该论文中出现的具体对象与用法包括：
- 对比基线：Mamba2 与 DeltaNet。论文把门控 DeltaNet 与这两个已有模型并列比较，标题本身即写作「Improving Mamba2 with Delta Rule」，表明其改进方向是在 Mamba2 一类结构上引入 Delta 规则。
- 评测任务类别。论文列出的基准覆盖语言建模（language modeling）、常识推理（common-sense reasoning）、上下文检索（in-context retrieval）、长度外推（length extrapolation）以及长上下文理解（long-context understanding）。论文称门控 DeltaNet 在这些基准上持续超过上述已有模型。
- 混合架构实例。论文给出的两种具体组合是：门控 DeltaNet 层加滑动窗口注意力层，以及门控 DeltaNet 层加 Mamba2 层。
该论文提交于 2024 年 12 月 9 日，后续有修订版本，并被接收为 ICLR 2025 的 camera ready 论文。作者为 Songlin Yang、Jan Kautz 与 Ali Hatamizadeh。
边界与常见误解
第一，容易把「门控」与「Delta 规则」理解成二选一的对立方案。按该论文的表述，二者是互补的：门控解决快速擦除，Delta 规则解决定向更新，门控 DeltaNet 的价值恰恰来自把两者合并，而不是用其中一个取代另一个。
第二，容易把「线性注意力更高效」直接等同于「在长上下文上同样好」。该论文的出发点恰恰相反：线性 Transformer 在检索与长上下文任务上表现有限，这正是需要引入新规则的原因。效率优势与长上下文能力不是同一件事。
第三，容易把论文报告的基准表现当成已被独立复现的定论。论文中的比较结论（在多项基准上超过 Mamba2 与 DeltaNet）是作者在其实验设置下给出的主张；本词条仅转述论文说法，不构成对这些结果的独立验证。
第四，混合架构带来的收益也有其代价与前提。论文把门控 DeltaNet 层与滑动窗口注意力或 Mamba2 层组合，说明纯门控 DeltaNet 堆叠并非唯一选择；混合意味着系统里同时存在多种层类型，其训练效率与任务表现的权衡需要按论文给出的组合方式来理解，而不能推广为任意组合都同样有效。
第五，该架构的适用范围应以其论文所覆盖的任务类别为参照。论文评测集中在语言建模、常识推理、上下文检索、长度外推与长上下文理解，并未主张在其他模态或任务上同样成立。