什么是门控线性注意力（Gated Linear Attention）？

门控线性注意力（Gated Linear Attention，GLA）是一种 Transformer 注意力层的结构变体：它在线性注意力（linear attention）的基础上引入数据相关的门控（data-dependent gates），使注意力状态能够被有选择地保留或遗忘。它要解决的问题是：线性注意力虽然训练可并行、推理复杂度随序列长度线性增长，但表达力通常弱于标准的 softmax 注意力，且早期实现在实际硬件上并不快。

该概念由 Songlin Yang、Bailin Wang、Yikang Shen、Rameswar Panda、Yoon Kim 在论文《Gated Linear Attention Transformers with Hardware-Efficient Training》中提出，论文以 arXiv 预印本形式发布，后续工作 ReGLA 在同一方向上对其做了细化研究。

为什么重要

标准 Transformer 的 softmax 注意力在计算与存储上具有随序列长度平方增长的复杂度，这是长序列建模的主要成本来源。线性注意力通过把注意力写成核函数形式，把平方复杂度降为线性，并且可以等价地表述为一个带二维（矩阵值）隐状态的循环神经网络（RNN），因此推理阶段具有线性时间复杂度。

但论文指出，线性注意力存在两个现实问题。其一是效果：线性注意力通常不如普通的 softmax 注意力。其二是工程实现：当时的线性注意力实现缺乏 I/O 感知（I/O-awareness），因此比经过高度优化的 softmax 注意力实现更慢。也就是说，理论上的复杂度优势并没有自动转化为实际速度优势。GLA 的意义在于同时从表达力和实现效率两个方向回应这两个问题：一方面用门控增强表达力，另一方面给出以内存搬运与并行性之间权衡为核心的硬件友好算法。

工作机制

按论文的叙述，GLA 的工作机制可以拆成以下几个要点。

线性注意力的循环形式：线性注意力既可并行训练，又可写成带矩阵值隐状态的 RNN，从而在推理时以线性时间推进。这是 GLA 的基础骨架。
硬件友好的训练算法：论文描述了一种面向线性注意力的硬件高效算法，在内存移动量与可并行性之间做权衡。该实现被命名为 FLASHLINEARATTENTION。论文称，即使序列长度较短（例如 1K），它作为单独一层也比 FLASHATTENTION-2 更快。
推广到带门控的变体：在上述算法基础上，论文把它推广到表达力更强的线性注意力变体，其门控是数据相关的，即门控值由输入决定，而非固定超参数。用这一层替换 Transformer 中的标准注意力层，就得到 GLA Transformer。
门控的作用：门控作用于循环状态，使模型能够对历史信息做选择性的保留与衰减。后续的 ReGLA 工作进一步把影响 GLA 模块性能的关键因素归纳为特征映射（feature maps）、归一化（normalization）与门控机制三项，并指出门控机制存在饱和现象，为此增加了细化模块。

需要说明的是，上述关于速度与效果的判断均出自原论文的实验陈述，属于作者在其设定下的报告，而非独立复现的结论。

典型例子

论文中给出的具体例子包括：

FLASHLINEARATTENTION：论文提出的线性注意力硬件高效实现，作为独立层与 FLASHATTENTION-2 对比，论文称在包括 1K 在内的短序列长度上更快。
GLA Transformer：把 GLA 层用作标准注意力层的替代品后得到的模型。论文报告称，在中等规模的语言建模实验中，它与 LLaMA 架构的 Transformer 以及 RetNet、Mamba 等近期线性时间推理基线表现相当。
长度泛化：论文称 GLA Transformer 在长度泛化方面尤其有效，在 2K 长度上训练的模型可泛化到长于 20K 的序列，而困惑度没有显著退化。
训练吞吐：论文报告 GLA Transformer 的吞吐量高于规模相近的 Mamba 模型。
ReGLA：Peng Lu、Ivan Kobyzev、Mehdi Rezagholizadeh、Boxing Chen、Philippe Langlais 在 NAACL 2025 发表的后续工作，系统考察特征映射、归一化与门控机制三个组件，提出新的特征映射函数、为归一化层的引入补充理由，并针对门控饱和增加细化模块。该文称其架构在包括从零训练与经线性化后的持续预训练等任务上优于此前的门控线性注意力机制。

边界与常见误解

第一，GLA 不是对 softmax 注意力的等价替换。论文的出发点是线性注意力通常弱于 softmax 注意力，GLA 通过门控提升表达力，但论文的表述是「表现相当」（perform competitively），而非全面超越，且限定在中等规模语言建模实验的范围内。

第二，线性复杂度不等于实际更快。论文明确指出，缺乏 I/O 感知的实现会比优化良好的 softmax 注意力更慢，这正是它要另提一套硬件高效算法的原因。因此把「线性注意力」直接等同于「训练和推理都更快」是一种常见误解。

第三，门控本身有代价与局限。ReGLA 指出门控机制存在饱和现象，并为此引入细化模块；这说明门控并非加得越多越好，其收益依赖于具体设计。ReGLA 同时强调特征映射与归一化对性能有实质影响，意味着 GLA 的效果不能只归因于门控一项。

第四，适用范围的判断应谨慎。论文中的长度泛化与吞吐结论来自作者设定的实验条件（如 2K 训练、20K 以上测试、与同等规模模型对比），不能外推为任意规模、任意任务上的普遍保证。

すべてのカテゴリ