AB
AiBoss站
百科

什么是 Muon 与 Newton-Schulz(Muon with Newton-Schulz)?

Muon 与 Newton-Schulz 指 Muon 优化器在训练中实际采用的做法:对带动量的梯度矩阵做若干步 Newton-Schulz 迭代,近似求出其正交化方向,而不是先做精确的奇异值分解(SVD)再取极因子。arXiv 论文《Convergence of Muon with Newton-Schulz》分析了这一实际做法,证明其收敛速率与 SVD 极因子理想化版本在常数因子内一致,并说明该常数随迭代步数 q 呈双指数收敛到 1。

Muon 与 Newton-Schulz(Muon with Newton-Schulz)指 Muon 优化器在训练中实际采用的一种做法:对带动量的梯度矩阵用少量 Newton-Schulz 迭代近似求出正交化方向,而不是先做精确的奇异值分解(Singular Value Decomposition,SVD)再取极因子。它要解决的问题是:矩阵级正交化本身计算代价高,若每一步都依赖精确 SVD,优化器就难以在大规模训练中落地;Newton-Schulz 迭代用若干次矩阵乘法即可逼近同一方向,从而把「理想化的算法」变成「可运行的算法」。

为什么重要

在 Muon 出现之前,基于向量的优化器(例如带动量的随机梯度下降,SGD with momentum)把参数按元素或按向量更新,其收敛分析相对成熟。Muon 的思路是把动量矩阵整体做正交化,使更新方向在矩阵意义上更「均衡」,但这一关键步骤在理论上长期被替换成精确的 SVD 极因子(polar factor)。

这种替换带来一个明显的实践—理论落差:理论分析的对象是一个每步都要做 SVD 的理想算法,而实际代码里跑的是若干步 Newton-Schulz 迭代。两者是否等价、差多少、需要几步才够,此前没有统一回答。arXiv 论文《Convergence of Muon with Newton-Schulz》正是针对这一落差展开分析,其作者为 Gyu Yeol Kim 与 Min-hwan Oh,论文被 ICLR 2026 接收。

这件事的重要性在于:如果实际使用的近似步骤会显著改变收敛行为,那么基于 SVD 理想化得到的理论结论就不能直接用来解释真实训练;反之,若能证明两者同阶,实践中的设计选择就有了理论依据。

工作机制

按该论文的描述,Muon 与 Newton-Schulz 的核心流程可以拆成以下几个要点:

  • 动量累积:优化器先对梯度做动量累积,得到一个矩阵形式的动量。
  • 正交化目标:理想情况下,希望把这个动量矩阵替换为其极因子,即与它最接近的正交(或半正交)矩阵,这一步等价于对动量矩阵做 SVD 后取左右奇异向量组合。
  • Newton-Schulz 迭代近似:实际做法不直接做 SVD,而是用固定步数 q 的 Newton-Schulz 迭代,通过反复的矩阵乘法与多项式变换,逼近上述正交化方向。迭代中使用的多项式次数(degree)也是可调的设计参数。
  • 参数更新:用近似得到的正交化方向去更新参数,而不是用原始动量。

该论文的结论是:在给定 Newton-Schulz 步数 q 的前提下,Muon with Newton-Schulz 收敛到稳定点的速率与 SVD 极因子理想化版本相同,只差一个常数因子。论文进一步分析了这个常数因子,证明它随 q 呈双指数(doubly exponentially)收敛到 1,并且会随着 Newton-Schulz 中所用多项式次数的提高而改善。论文还证明,与其基于向量的对照方法(带动量的 SGD)相比,Muon 消除了典型的「秩的平方根」(square-root-of-rank)损失。

这些结果被论文用来解释两件事:为什么只用少量低次 Newton-Schulz 步骤就能在更短的墙钟时间(wall-clock time)内匹配精确极因子(SVD)的行为;以及矩阵动量正交化相对于向量型优化器能带来多少收益。

典型例子

该论文讨论的对象就是 Muon 本身「按原初提出并在实践中使用」的形态,即动量正交化加少量 Newton-Schulz 步骤。论文把它与两个参照物对照:

  • SVD 极因子理想化:此前理论工作中用来替代 Newton-Schulz 步骤的精确版本,作为收敛速率的比较基准。
  • 带动量的 SGD:作为基于向量的对照优化器,用于说明 Muon 消除了平方根秩损失。

论文给出的分析结论覆盖了不同步数 q 与不同多项式次数下的常数因子行为,属于理论层面的刻画,而非在某个具体模型或数据集上的实测结果。

边界与常见误解

首先需要澄清的是,上述收敛结论来自该论文的证明,属于作者在其设定下得到的结果,不应被表述为对整个优化器领域的普遍共识。论文分析的是收敛到稳定点的速率与常数因子,并不等同于对最终模型质量的保证。

其次,一个常见误解是把 Newton-Schulz 近似当成「只是工程上的省算力技巧、理论上会退化」。该论文的结论恰恰相反:在给定步数 q 下速率同阶,且常数因子随 q 双指数趋近于 1。但这也不意味着步数可以任意少——常数因子虽收敛快,仍是与 q 相关的量,多项式次数同样影响该因子。

第三,论文比较的是 Muon 与带动量 SGD 在平方根秩损失上的差异,这一结论有明确的对照对象,不能外推成「Muon 在所有任务上都优于所有优化器」。论文并未给出跨模型规模、跨数据分布的通用性能结论。

最后,该论文是理论分析工作,其价值在于缩小实践与理论之间的差距,而不是提供一份调参指南;实际训练中 q 取多少、多项式用几阶,仍需结合具体计算预算判断。

参考资料