什么是低秩分解(Low-Rank Decomposition)?一种用于模型压缩与矩阵分析的降维技术
低秩分解(Low-Rank Decomposition)是把一个大矩阵拆成两个较小矩阵乘积的数学手段,常用于压缩神经网络参数、去除数据中的稀疏扰动。本文结合两篇 arXiv 论文,说明它的工作机制、在代码大模型压缩上的实测结果,以及适用边界与代价。
低秩分解(Low-Rank Decomposition)是一种矩阵分解技术:把一个较大的矩阵近似拆分为两个较小矩阵的乘积,使参数量与计算量下降,同时尽量保留原矩阵所承载的信息。它要解决的问题是——当模型或数据矩阵规模过大、存储与推理成本过高时,如何在不彻底重训、不依赖稀疏化的前提下,用更少的数值表达近似相同的结果。
为什么重要
在低秩分解被系统用于大语言模型压缩之前,主流做法大致有两类。一类是量化(quantization):把浮点权重换成低比特表示,压缩率高,但权重被离散化,线性层不再完全可微,微调与后续训练受到限制。另一类是稀疏化(sparsification):把大量权重置零,理论上参数量下降,但稀疏矩阵在现代硬件上往往难以获得与参数量下降相称的实际加速,需要专门的稀疏核支持。
低秩分解提供了第三条路径。arXiv:2309.14021 的论文指出,矩阵分解式压缩不依赖稀疏化,因而能在现代硬件上带来更直接的加速;与量化不同,被压缩的线性层仍然完全可微,所有参数都可训练,并且可以直接复用现有的高效浮点矩阵核。这使它在推理与部署环节具备一种「压缩后仍可继续训练」的性质,对需要在下游任务上做参数高效微调的场景尤其有吸引力。
另一方面,在数据分析语境下,低秩分解还承担着「从被污染的数据中恢复真实结构」的角色。arXiv:2109.12701 研究的稀疏加低秩分解问题(Sparse Plus Low-Rank decomposition,SLR),目标是把一个受污染的数据矩阵拆成一个稀疏的扰动矩阵加一个包含真实值的低秩矩阵。该论文称 SLR 是运筹学与机器学习中的基础问题,出现在数据压缩、潜在语义索引、协同过滤与医学成像等应用中。
工作机制
低秩分解的核心操作可以分几个要点理解。
- 矩阵拆分:给定一个形状为 m×n 的权重矩阵 W,寻找两个矩阵 A(m×r)与 B(r×n),使 A·B 尽可能接近 W。这里的 r 称为秩(rank),远小于 m 与 n 时,参数量从 m×n 降到 r×(m+n),压缩随之产生。
- 秩的选择:r 越小压缩越狠,但近似误差越大。实际做法通常是对每一层单独搜索可接受的秩,用困惑度(perplexity)或下游任务指标作为约束。arXiv:2309.14021 报告称,这些模型中线性层的秩最多可降低 39.58%,而困惑度上升不到 1%。
- 一次性压缩:该论文的方法名为 LoRD(Low Rank Decomposition),强调「一次性」(one-shot)——不需要迭代重训整个模型,即可完成分解并得到可用的压缩模型。
- 与量化叠加:分解后的模型仍可与接近无损的量化方法配合。论文称 LoRD 模型与 SpQR 等先进量化方法保持兼容,从而在低秩压缩之上再获得量化的压缩收益。
- 与参数高效微调叠加:论文还报告,在 LoRD 模型上使用 QLoRA,相比原版 QLoRA 可进一步把内存需求降低最多 21.2%,同时获得相近的参数高效微调收益。
在 SLR 这一侧,机制有所不同。arXiv:2109.12701 提出了一种直接刻画问题内在离散性的新形式化方法,并为此开发了三件工具:一个交替最小化启发式算法用于求高质量解;一个新的半正定松弛用于给启发式解提供有意义的界;以及一个定制的分支定界算法,借助启发式与凸松弛把小规模实例求解到可证明的(近)最优。论文给出的规模结论是:对 n×n 输入矩阵,启发式可在数分钟内求解 n=10000 的实例,松弛可在数小时内处理 n=200 的实例,分支定界可在数分钟内处理 n=25 的实例。
典型例子
arXiv:2309.14021 给出了一个具体的模型压缩案例:用 LoRD 把 StarCoder 16B 压缩到 13.2B 参数,论文称 HumanEval Pass@1 分数没有下降;压缩到 12.3B 时分数仅有极小下降。整个压缩过程在单张 A100 上耗时不到 10 分钟。论文还报告,压缩后的模型在 Hugging Face 的 PyTorch 后端实现上只需改动一行代码,推理速度最多提升 22.35%。这些数字均出自该论文自身的实验设置,属于作者报告的结果,而非独立复现的结论。
arXiv:2109.12701 则给出了 SLR 的算法规模示例:同一套启发式、半正定松弛与分支定界组合,分别覆盖 n=10000、n=200、n=25 三类规模的输入。论文称其数值结果在秩、稀疏度与均方误差三项指标上优于当时的先进方法,同时运行时间相当。该工作发表在 Journal of Machine Learning Research 第 24 卷第 267 期。
边界与常见误解
首先,低秩分解不等于无损压缩。它用低秩乘积近似原矩阵,误差必然存在,只是可以通过选择秩把误差控制在可接受范围内。arXiv:2309.14021 中「困惑度上升不到 1%」「Pass@1 无下降」都是特定模型、特定评测下的观测,不能外推为任意模型、任意任务都成立。
其次,它常被误解为「压缩后模型就不能再训练」。恰恰相反,该论文强调分解后的线性层保持完全可微、参数全部可训练,这正是它与量化、稀疏化的关键差异之一。但「可训练」不等于「训练效果与原始模型完全一致」,论文只报告了在 LoRD 模型上做 QLoRA 的内存收益,并未声称下游效果全面等同。
第三,低秩分解与稀疏化并非互斥,也不应混为一谈。SLR 问题本身就是「稀疏 + 低秩」的联合分解,其中稀疏矩阵建模扰动、低秩矩阵承载真实结构;而 LoRD 走的是纯低秩路线,明确以「不稀疏化」作为获得硬件加速的前提。两者的问题设定与目标不同。
第四,存在适用性代价。秩的搜索需要逐层评估,评估本身要消耗算力与评测数据;压缩率越高,可接受的秩越小,精度风险越大。SLR 一侧的代价则体现在求解规模上:论文给出的分支定界只能处理 n=25 量级的实例,半正定松弛在 n=200 时需数小时,说明「可证明最优」的代价随规模迅速上升。
最后需要说明,上述效果与规模结论均来自对应论文作者的表述,属于各自研究设定下的报告,不代表已被广泛验证的行业共识。