什么是均方根层归一化(RMSNorm)?一种去掉重中心化步骤的归一化方法
均方根层归一化(RMSNorm)是 Biao Zhang 与 Rico Sennrich 在 2019 年论文中提出的一种神经网络归一化方法。它假设层归一化(LayerNorm)中的重中心化不变性可以省略,只按均方根对一层内神经元的求和输入做缩放,从而在保持重缩放不变性的同时降低计算开销。
均方根层归一化(Root Mean Square Layer Normalization,RMSNorm)是一种用于深度神经网络的归一化方法:它按一层内各神经元求和输入的均方根(root mean square,RMS)对这些输入做缩放,使模型获得重缩放不变性,而不执行层归一化中的重中心化步骤。它要解决的问题是:层归一化(LayerNorm)虽然能稳定训练、加快收敛,但其计算开销会拖慢底层网络,论文指出对循环神经网络(RNN)尤其明显。
为什么重要
在 RMSNorm 出现之前,层归一化是深度网络中常用的归一化手段。据该论文的描述,LayerNorm 之所以有效,是因为它能对输入和权重矩阵同时做重中心化(re-centering)与重缩放(re-scaling),从而帮助稳定训练、提升模型收敛速度,并已被成功应用于多种深度神经网络。
问题在于代价。论文明确指出,LayerNorm 引入的计算开销使这些收益变得昂贵,并显著拖慢了底层网络,其中循环神经网络受到的影响尤为突出。也就是说,归一化带来的稳定性并非免费:每一步都要付出额外的计算,而这些计算在训练和推理中会不断累积。
论文由此提出一个假设:LayerNorm 中的重中心化不变性是可有可无的。如果这一部分可以去掉而不损失效果,就能在保留归一化主要收益的同时削减计算量。RMSNorm 正是围绕这一假设设计的,其意义在于把「归一化是否必须同时做中心化和缩放」这一问题变成了可检验的工程取舍。
工作机制
按论文的表述,RMSNorm 的核心做法可以拆成以下几点:
- 只做缩放,不做中心化。LayerNorm 会先减去均值再除以标准差;RMSNorm 省略减均值这一步,直接以均方根作为缩放因子。论文的出发点正是「重中心化不变性可以省略」这一假设。
- 按均方根正则化求和输入。RMSNorm 依据均方根对一层内神经元的求和输入(summed inputs)进行正则化,使这些输入的尺度被约束在可控范围内。
- 保留重缩放不变性。由于除以均方根,输入整体乘以一个常数后,归一化结果基本不变,模型因此获得重缩放不变性(re-scaling invariance)。
- 带来隐式学习率自适应。论文称,这种按均方根缩放的做法还给模型带来隐式的学习率自适应能力(implicit learning rate adaptation)。
- 计算更简单。少了减均值及其相关运算,RMSNorm 的计算比 LayerNorm 更简单,因而效率更高——这是论文对其效率优势的直接表述。
论文还提出了一个变体:部分均方根层归一化(partial RMSNorm,pRMSNorm)。它的做法是只用 p% 的求和输入来估计均方根,论文称这样做不会破坏上述性质。这为在精度与开销之间进一步调节提供了空间。
从通用机制角度看,归一化层通常位于神经元求和之后、非线性激活之前,其输出随后会经过可学习的缩放(有时还有偏置)参数。RMSNorm 改变的是归一化统计量的计算方式,而不是它在网络中的位置;不过论文本身并未把这一位置安排作为其贡献来论述。
典型例子
论文给出的证据来自多类网络架构与多项任务上的实验。据摘要,作者在若干任务上、使用多种网络架构进行了大量实验,结果显示:RMSNorm 在性能上与 LayerNorm 相当(comparable performance),但在不同模型上把运行时间减少了 7%~64%。这两个数字是论文报告的实验结果,适用于论文所测试的模型与设置,不应外推为所有场景下的固定收益。
论文中提到的具体对象包括:
- LayerNorm:作为对照基线,论文复述了它在深度网络中稳定训练、加速收敛的作用,以及其计算开销拖慢网络(尤其是 RNN)的问题。
- RMSNorm:论文提出的主方法,按均方根正则化一层内神经元的求和输入。
- pRMSNorm:论文提出的部分估计变体,用 p% 的求和输入估计均方根。
- RNN:论文在讨论 LayerNorm 开销时特别点名的网络类型,也是其效率论点的主要背景之一。
该工作发表于 NeurIPS 2019,论文标注的主题领域包括机器学习(cs.LG)、计算与语言(cs.CL)以及机器学习统计(stat.ML),作者为 Biao Zhang 与 Rico Sennrich,2019 年 10 月 16 日提交至 arXiv。论文摘要中提到提供了源代码,但具体地址不属于本词条引用的范围。
边界与常见误解
首先需要澄清归属:RMSNorm 是 Biao Zhang 与 Rico Sennrich 在一篇论文中提出的方法,论文中的假设、性质描述与实验结论都属于该论文的主张,而不是某种已被普遍确认的行业共识。「重中心化不变性可有可无」在原文中是以假设(hypothesize)的形式提出的,随后通过实验加以支持;把它当作已被证明的定论,是对原文措辞的过度解读。
其次,性能相当与运行时间下降 7%~64% 都是论文在特定任务与架构上测得的结果。不同模型、不同硬件、不同实现下的实际差异可能不同,论文并未声称这一区间适用于所有网络。把该区间当作通用性能承诺,属于常见误读。
第三,RMSNorm 并非「无代价的 LayerNorm 替代品」。它省略的是重中心化,换来的是更简单的计算;但它仍然要做均方根的计算与除法,仍然引入额外的归一化步骤。论文的论点是它比 LayerNorm 更简单、更高效,而不是说归一化本身没有成本。
第四,关于适用范围的边界,论文的表述集中在深度神经网络(并特别提到 RNN 受 LayerNorm 开销拖累明显),实验覆盖多种架构与任务;但论文并未给出「在哪些任务上一定不适用」的清单。因此,对于论文未测试的模型类型或训练设置,其表现属于未经验证的区域,不应据摘要推断。
最后,pRMSNorm 用部分输入估计均方根,论文称这不破坏前述性质,但 p 的取值如何影响精度与效率的权衡,属于需要回到原文与实验部分核对的内容,不宜凭名称想当然。