什么是差分Transformer（Differential Transformer）？一种用注意力差分抑制无关上下文的模型结构
差分Transformer（Differential Transformer，简称 Diff Transformer）是一种在 Transformer 注意力机制上做改动的模型结构：它把注意力分数计算为两张独立 softmax 注意力图之差，用相减的方式抵消噪声、放大对相关上下文的关注。该结构由论文《Differential Transformer》提出，论文称其在语言建模、长上下文建模、关键信息检索、幻觉缓解与上下文学习等场景中相较 Transformer 具有优势。
差分Transformer（Differential Transformer，简称 Diff Transformer）是一种对 Transformer 注意力机制进行改造的模型结构。它的核心做法是：把注意力分数计算为两张独立 softmax 注意力图（attention map）之差，通过相减抵消噪声、放大对相关上下文的关注。它要解决的问题是 Transformer 容易把注意力过度分配到无关上下文上，从而在长上下文、检索关键信息、问答与摘要等任务中受到干扰。
为什么重要
Transformer 是当前大语言模型的主流基础结构，其自注意力机制让每个位置都能访问序列中的所有位置。但论文指出，Transformer 倾向于把注意力整体性地过度分配给无关上下文（overallocate attention to irrelevant context）。这意味着模型在阅读长输入时，注意力权重会分散到大量与当前任务无关的内容上，既浪费了有限的表示能力，也可能让模型在生成答案时被无关信息带偏。
在需要从长文档中找出关键信息、依据给定材料回答问题或做摘要的场景里，这种注意力分散会直接表现为检索不准、答非所问，也就是常说的幻觉（hallucination）问题。此外，论文还把上下文学习（in-context learning）中对示例顺序敏感、结果随排列变化而波动的稳健性问题列为长期存在的痛点。差分Transformer 的提出，正是针对这些由注意力分配不当引起的问题给出结构层面的解法，而不是仅在训练数据或提示词层面做修补。
工作机制
根据论文的描述，差分注意力机制（differential attention mechanism）的要点可以拆成以下几个步骤来理解：
- 计算两张注意力图。与标准注意力只产生一张 softmax 注意力图不同，差分注意力分别计算两组独立的 softmax 注意力图，可以理解为把注意力拆成两路并行计算。
- 做差得到最终注意力分数。最终的注意力分数取这两张注意力图之差。论文指出，这一相减操作会抵消噪声成分，同时保留并放大对相关上下文的注意力。
- 促成稀疏注意力模式。由于噪声在相减中被削弱，注意力分布趋向稀疏，即权重更集中地落在少数真正相关的位置上，而不是均匀铺开在整个上下文上。
- 作为注意力层的替换件使用。差分注意力是作用在注意力计算层面的改动，论文将其与 Transformer 在模型规模与训练 token 数量放大等不同设置下进行对比，报告 Diff Transformer 优于 Transformer。
需要说明的是，上述机制描述来自论文自身的表述；论文对效果的结论也是该论文在其实验设置下得出的，并不等同于已被广泛验证的行业共识。
典型例子
论文在语言建模实验中，围绕模型规模放大与训练 token 数量增加等不同设置，比较了 Diff Transformer 与 Transformer 的表现，并称前者在这些设置下更优。论文进一步列出了若干它认为能体现该结构价值的实际应用方向：
- 长上下文建模（long-context modeling）：在输入长度较大的情形下，减少无关上下文带来的干扰。
- 关键信息检索（key information retrieval）：从上下文中定位并利用关键信息。
- 幻觉缓解（hallucination mitigation）：论文称，由于更少被无关上下文分散注意力，Diff Transformer 可以缓解问答与文本摘要中的幻觉。
- 上下文学习（in-context learning）：论文称其不仅提升准确率，而且对示例顺序的置换更稳健，而顺序敏感性此前被视为一个长期的稳健性问题。
- 减少激活异常值（reduction of activation outliers）：论文将激活异常值的减少列为该结构带来的优势之一。
该论文被接收为 ICLR 2025 的口头报告（Oral Presentation）。论文作者为 Tianzhu Ye、Li Dong、Yuqing Xia、Yutao Sun、Yi Zhu、Gao Huang、Furu Wei，首次提交于 2024 年 10 月 7 日，修订版 v2 于 2025 年 4 月 7 日发布。
边界与常见误解
第一，差分Transformer 不是一种新的训练目标或新的分词方案，而是对注意力计算方式的改动；论文讨论的对比基线是 Transformer 结构本身，其结论应理解为在该论文实验范围内的比较结果。
第二，论文报告的优势（包括长上下文、检索、幻觉缓解、上下文学习稳健性与激活异常值减少）均出自论文作者的实验与论述，属于该论文的主张，不宜直接当作对所有模型、所有任务都成立的普遍结论。具体任务上的收益仍取决于模型规模、数据与训练配置等因素，而这些因素在素材中并未给出可外推的定量保证。
第三，差分注意力需要计算两张注意力图再做差，相比标准注意力增加了注意力部分的计算路径；这是该机制在结构上的直接代价。素材未给出具体的计算开销或性能数字，因此不应臆测其效率提升或损失幅度。
第四，容易被误解的一点是把它当成「消除注意力噪声」的通用手段。论文的表述是相减会抵消噪声并促成稀疏注意力模式，这是一种在训练中涌现的行为描述，而非可以脱离训练、单独套用的后处理技巧。