什么是硬注意力（Hard Attention）？一种只选取部分位置参与计算的注意力机制
硬注意力（Hard Attention）是一类注意力机制：它不为全部输入位置分配连续权重，而是为每个输出位置选取一个或一小部分输入位置参与计算。与软注意力对全序列加权求和不同，硬注意力把选择变成离散决策，因而在长序列上更聚焦，但也带来不可微、难训练的问题。相关研究既把它当作可训练的结构组件，也把它当作分析 Transformer 表达能力的理论模型。
硬注意力（Hard Attention）是一类注意力机制：它不为全部输入位置分配连续的注意力权重，而是为每个输出位置选取一个或一小部分输入位置参与计算。它要解决的问题是软注意力（Soft Attention）在长序列上「什么都看一点」所带来的稀释与开销：当注意力被摊薄到整条序列时，单个位置的信息容易被淹没，计算量也随序列长度线性增长。
为什么重要
在硬注意力被明确提出之前，神经机器翻译（Neural Machine Translation, NMT）等序列到序列任务的主流做法是软注意力：解码每个目标词时，对源序列所有词计算注意力分布并加权求和。ACL 2019 的论文《Look Harder: A Neural Machine Translation Model with Hard Attention》在摘要中指出，这类软注意力模型「为每个目标词关注源序列中的所有词，这使它们在长序列翻译上效率不高」。换言之，痛点有两个层面：一是信息层面，权重被分散到大量位置上，模型难以把注意力真正「钉」在关键片段；二是代价层面，每个目标词都要遍历整条源序列。
硬注意力之所以值得单独讨论，还因为它同时出现在两个差别很大的语境里。其一是工程语境：作为一种可训练的结构组件，用来处理长序列、降低注意力的覆盖范围。其二是理论语境：作为一种被简化和抽象后的 Transformer 变体，用来分析模型的表达能力和可识别语言的范围。arXiv 2025 的论文《Unique Hard Attention: A Tale of Two Sides》正是后者，它研究的是「唯一硬注意力」Transformer——注意力只选取得分最大的单一位置。
工作机制
硬注意力的核心做法可以拆成几个要点：
- 离散选择而非加权求和。软注意力输出的是对全部位置的加权平均；硬注意力输出的是被选中位置的表示（或少数几个位置的组合）。选择本身是一个离散决策，通常由注意力得分取最大值（argmax）或采样得到。
- 子集选择。在《Look Harder》提出的 NMT 模型中，做法是为每个目标词选取源序列的一个子集，而不是全部源词，以此处理长序列翻译。这与「只选一个位置」的极端形式不同，属于硬注意力家族中较宽松的一档。
- 平局的处理规则。当多个位置取得相同的最大得分时，必须规定取哪一个。《Unique Hard Attention: A Tale of Two Sides》明确区分了两种约定：取这些位置中最靠右的（rightmost-hard attention）或最靠左的（leftmost-hard attention）。该论文强调，这个看似琐碎的细节具有实质影响。
- 训练方式。由于选择是离散的，梯度无法像软注意力那样直接回传。《Look Harder》为此设计了强化学习算法，并配合奖励塑形（reward shaping）策略来高效训练该模型。
需要说明的是，上述训练困难是硬注意力的一般性代价，而具体的强化学习方案是《Look Harder》这篇论文针对其翻译模型给出的设计，不应推广为所有硬注意力系统的标准做法。
典型例子
机器翻译中的硬注意力 NMT 模型。《Look Harder: A Neural Machine Translation Model with Hard Attention》由 Sathish Reddy Indurthi、Insoo Chung 与 Sangha Kim 撰写，发表于 2019 年 ACL 年会（第 57 届计算语言学协会年会，意大利佛罗伦萨），页码 3037–3043。该文提出的模型为每个目标词选择源词子集，并用强化学习加奖励塑形来训练。作者报告称，该模型在长序列上表现更好，在英语—德语（EN-DE）和英语—法语（EN-FR）翻译任务上相对软注意力 NMT 取得了显著的 BLEU 提升。这些结论出自该论文自身的实验设置。
唯一硬注意力 Transformer 的表达能力分析。《Unique Hard Attention: A Tale of Two Sides》由 Selim Jerad、Anej Svete、Jiaoda Li 与 Ryan Cotterell 撰写，2025 年 3 月 18 日提交第一版，2025 年 11 月 13 日更新至第三版。论文讨论的是有限精度（finite-precision）的 Transformer。其核心结论包括：此前已有工作表明，同时具备最左与最右硬注意力的有限精度 Transformer 等价于线性时序逻辑（Linear Temporal Logic, LTL）；而该论文证明，仅保留最左硬注意力时这一等价关系不再成立，此时模型对应 LTL 的一个严格更弱的片段。论文进一步指出，采用最左硬注意力的模型与软注意力等价，因此可能比最右注意力模型更好地近似现实中的 Transformer。作者认为这些发现细化了 Transformer 表达能力的图景，并凸显了注意力方向性的作用。
边界与常见误解
误解一：硬注意力就是「更稀疏的软注意力」。两者在数学性质上并不连续过渡。软注意力处处可微，硬注意力的选择是离散的，梯度不能直接穿过选择操作，这正是《Look Harder》需要引入强化学习的原因。把硬注意力当作调低温度或加稀疏惩罚的软注意力，会低估其训练难度。
误解二：硬注意力一定更好。《Look Harder》报告的 BLEU 提升是在其特定的长序列翻译设定下、相对其软注意力基线得到的，且依赖专门的强化学习训练流程。它不构成「硬注意力普遍优于软注意力」的证据。
误解三：左右平局规则无关紧要。《Unique Hard Attention: A Tale of Two Sides》的结论恰恰相反：仅最左硬注意力与同时具备左右两种硬注意力，对应的逻辑片段严格不同；而最左硬注意力又与软注意力等价。这说明在理论分析中，方向性约定会改变模型的表达能力类别。
已知代价与适用范围。硬注意力的离散性带来不可微问题，通常需要强化学习、采样估计或其他近似手段来训练，方差与稳定性是实际代价。理论上，关于唯一硬注意力 Transformer 与 LTL 片段等价性的结论，是在有限精度、特定平局规则等前提下的形式化结果，不能直接外推到任意规模的预训练模型或任意任务表现。此外，硬注意力只选取部分位置，也意味着未被选中的位置信息在该步计算中被完全丢弃，这对需要全局汇总的任务未必合适。