AB
AiBoss
Wiki

什么是逐层自适应速率缩放(Layer-wise Adaptive Rate Scaling)?一种为大批量训练设计的逐层学习率缩放方法

逐层自适应速率缩放(LARS)是 Yang You、Igor Gitman 与 Boris Ginsburg 在 2017 年论文《Large Batch Training of Convolutional Networks》中提出的训练算法。它按层而非按参数计算学习率,用层内权重范数与梯度范数之比作为信任比来校准更新幅度,目的是让大批量同步 SGD 训练不损失精度。

逐层自适应速率缩放(Layer-wise Adaptive Rate Scaling,LARS)是一种面向大批量训练的优化算法:它为神经网络的每一层单独计算学习率,而不是为每个参数或整个模型使用同一个学习率。它要解决的问题是,当数据并行训练的节点数增加、批量(batch size)随之变大时,常规的大批量训练配方容易导致模型精度下降甚至训练发散。

为什么重要

在 LARS 出现之前,加速大型卷积网络训练的一种常见做法是增加计算单元,然后用数据并行同步随机梯度下降(Stochastic Gradient Descent,SGD)训练,把小批量切分到各个计算单元上。节点越多,批量越大。但论文指出,大批量训练往往带来更低的模型精度。

当时通行的大批量训练配方是「线性学习率缩放加热身(linear learning rate scaling with warm-up)」。论文作者认为这一配方不够通用,训练可能发散。也就是说,问题不在于算力不够,而在于优化过程本身:批量放大后,各层梯度与权重的相对尺度差异被放大,统一的学习率难以同时适配所有层,更新步长要么过大导致不稳定,要么过小导致收敛缓慢。

LARS 的意义在于把「学习率该多大」这个问题从全局层面下放到层级层面,用层内的统计量自动校准每层的更新幅度,从而在放大批量的同时保持训练稳定。论文报告称,使用 LARS 把 Alexnet 扩展到 8K 的批量、把 Resnet-50 扩展到 32K 的批量,且没有精度损失。

工作机制

LARS 的核心思想可以拆成以下几个要点:

  • 按层分配学习率。Hugging Face 官方文档对 LARS 的描述是:它为每一层使用单独的学习率,而不是为每个参数使用单独的学习率。这与逐参数自适应方法(例如按参数二阶矩缩放)在粒度上不同。
  • 用信任比校准更新幅度。同一文档指出,学习率由层内权重范数与梯度范数之间的信任比(trust ratio)计算得出,这一比值有助于校准出稳定的更新大小。直观地说,如果某层的权重尺度相对梯度较大,信任比会给出相应比例,使该层的实际步长与参数本身的尺度相匹配。
  • 与动量 SGD 结合。从 bitsandbytes 提供的接口看,LARS 优化器带有动量(momentum)、阻尼(dampening)、权重衰减(weight_decay)、Nesterov 动量等超参数,说明它是在动量类 SGD 更新框架上叠加逐层缩放,而不是替换掉基础更新规则。
  • 梯度范数上限。该接口还提供 max_unorm 参数(默认 0.02),文档将其说明为最大梯度范数,用于约束信任比计算中梯度项的取值,避免极端值破坏缩放。
  • 可选的 8 位状态。bitsandbytes 的实现区分了 LARS、LARS8bit 与 LARS32bit 等变体,其中 8 位版本通过 min_8bit_size(默认 4096)决定参数张量达到多少元素才启用 8 位优化状态。

需要说明的是,上述接口细节来自 bitsandbytes 的官方文档,属于该库对 LARS 的一种工程实现,并不等同于原论文的全部设定;论文本身提出的是算法层面的逐层缩放思路。

典型例子

论文《Large Batch Training of Convolutional Networks》给出了两个具体的规模扩展结果:使用 LARS 后,Alexnet 被扩展到 8K 的批量,Resnet-50 被扩展到 32K 的批量,论文称在这一过程中没有精度损失。这两个例子是该算法最常被引用的实证场景,也界定了它最初的目标领域——卷积网络的大批量数据并行训练。

在工程实现层面,Hugging Face 文档中的 bitsandbytes 页面把 LARS 描述为「为大批量训练设计、用于加速训练的优化器」,并给出 LARS、LARS8bit、LARS32bit 三个类。其构造函数参数包括学习率 lr、动量 momentum(默认 0)、阻尼 dampening(默认 0)、权重衰减 weight_decay、Nesterov 开关 nesterov(默认 False)、优化器状态位数 optim_bits(默认 32)、额外参数对象 args、8 位优化的最小元素数 min_8bit_size(默认 4096)以及最大梯度范数 max_unorm(默认 0.02)。这些默认值是该库接口的设定,供调用者按需覆盖。

边界与常见误解

第一,LARS 不是「万能加速器」。论文的出发点是数据并行同步 SGD 下批量增大带来的精度与稳定性问题,其验证对象是卷积网络(Alexnet、Resnet-50)。把它直接套用到其他模型结构或训练范式上,并不在原论文的结论范围内。

第二,LARS 不等于逐参数自适应优化。常见误解是把它与按参数统计量缩放的方法混为一谈。按 Hugging Face 文档的表述,LARS 的粒度是「层」,学习率来自层内权重与梯度范数的信任比;这与逐参数维护状态的做法在机制上不同。

第三,LARS 并未否定线性缩放加热身。论文的措辞是认为该配方「不够通用」、训练可能发散,并提出 LARS 作为克服这些优化困难的替代方案;这属于论文作者的主张,应理解为一种方法学上的补充与竞争方案,而非对既有做法的全面否定。

第四,存在实现层面的代价与调参面。以 bitsandbytes 的实现为例,除学习率外还需考虑动量、阻尼、权重衰减、Nesterov、最大梯度范数、8 位优化的阈值等参数;启用 8 位状态还引入了数值精度与最小张量规模的门槛。这些都会影响实际行为,不能假定默认值适用于所有场景。

第五,论文报告的规模数字(8K、32K)是特定实验设置下的结果,不应被外推为「任意批量都能无损扩展」的保证。

参考资料