什么是非结构化剪枝(Unstructured Pruning)?
非结构化剪枝是一种以单个权重为单位删除神经网络参数的模型压缩方法,与按固定模式删除参数的剪枝方式相对。它因解空间更大,通常能在相同剪枝比例下保留更高精度,但产生的稀疏结构不规则,硬件加速收益有限。
非结构化剪枝(Unstructured Pruning)是神经网络剪枝的一类方法:它以单个权重为单位,把网络中任意位置的参数置零或删除,而不要求被删除的参数在矩阵中形成整行、整列、整通道或整专家之类的规则模式。它要解决的问题是:在尽量不损失模型精度的前提下降低模型的存储与计算开销。与之相对的是结构化剪枝(Structured Pruning),后者按特定模式删除参数,例如神经元剪枝(Neuron Pruning)。
为什么重要
大模型在推理阶段的成本主要来自参数规模与激活规模。剪枝是压缩模型、降低部署成本的常见手段,但不同剪枝方式之间存在明显的取舍。
结构化剪枝删除的是成组的参数,例如整个神经元或整个专家,因此剪枝后的网络仍保持规整的矩阵形状,便于在硬件上直接获得速度提升。代价是它对稀疏化结构施加了约束,可选解空间较小。非结构化剪枝不受这种约束,可以逐个权重决定去留,解空间包含结构化剪枝的解空间,因此在给定剪枝比例下通常能达到更高的精度。arXiv 论文《STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning》在摘要中即指出,非结构化剪枝在给定剪枝比例下性能最高,原因正是结构化剪枝对稀疏结构施加了约束,而非结构化剪枝的解空间涵盖了结构化剪枝的解空间。
另一方面,非结构化剪枝的理论性质也被用来支撑关于随机网络内含稀疏子网络的研究。arXiv 论文《Structured vs. Unstructured Pruning: An Exponential Gap》提到,强彩票假说(Strong Lottery Ticket Hypothesis,SLTH)认为大型随机初始化网络中含有稀疏子网络,无需训练即可在初始化时逼近目标函数,而现有支持该假说的理论结果几乎都依赖非结构化剪枝,并证明对数级的过参数化即可逼近简单的目标网络。这说明非结构化剪枝不仅是一种工程压缩手段,也是理解网络稀疏性理论的重要工具。
工作机制
非结构化剪枝的核心做法可以拆成以下几个要点:
- 剪枝单位是单个权重。 网络中的每个参数独立地成为被删除的候选,删除后该权重取值为零,不再参与有效计算。这与按整行、整列、整通道或整专家删除的结构化剪枝形成对比。
- 需要确定重要性度量。 要决定哪些权重该删,通常需要为每个权重计算一个重要性分数,再按分数排序,删除分数最低的一部分,使整体稀疏度达到目标剪枝比例。素材中的两篇论文没有展开具体的重要性度量细节,因此这里只作一般性说明。
- 稀疏结构不规则。 由于被删权重的位置由数据决定而非由固定模式决定,剪枝后的权重矩阵呈现零散分布的零值,形状不再规整。这正是它精度较高、但难以直接转化为硬件加速的结构性原因。
- 可与结构化剪枝组合。 STUN 论文提出的思路是先做结构化剪枝、再做非结构化剪枝。该论文称,专家剪枝这种结构化剪枝形式可以先于非结构化剪枝执行,并取得优于仅做非结构化剪枝的效果。其关键做法是利用专家之间基于行为相似性的潜在结构,使「是否剪除」的贪心决策能够较好地捕捉联合剪枝效应。
从理论角度看,《Structured vs. Unstructured Pruning: An Exponential Gap》研究的是用随机初始化两层 ReLU 网络的隐藏单元剪枝来逼近单个无偏置 ReLU 神经元的问题,从而隔离出神经元剪枝的固有局限。该论文给出的结论是:要达到 ε-逼近,神经元剪枝所需的初始网络规模为 Ω(1/ε),而权重剪枝只需 O(log(1/ε)) 个隐藏单元,两者之间存在指数级差距。这里的「权重剪枝」即对应非结构化剪枝的设定。
典型例子
素材中出现的一个具体系统是 Snowflake Arctic,一个规模为 480B、包含 128 个专家的混合专家(Mixture-of-Experts,MoE)模型。STUN 论文称,在该模型上,其方法只需一块 H100 和两小时,即可在 40% 稀疏度下实现几乎无性能损失,即使在 GSM8K 这类生成式任务上也是如此;而该论文称当时最先进的非结构化剪枝在这些任务上未能做到。该论文还指出,已有的专家剪枝方法对 n 个专家需要 O(k^n/√n) 次前向传播,难以扩展到近期的 MoE 模型,因此提出了复杂度为 O(1) 的可扩展替代方案。
另一个例子来自理论侧:《Structured vs. Unstructured Pruning: An Exponential Gap》以单个无偏置 ReLU 神经元为目标函数、以随机初始化两层 ReLU 网络的隐藏单元剪枝为手段,构造了比较神经元剪枝与权重剪枝所需网络规模的对照场景。该论文的作者包括 Davide Ferre'、Frédéric Giroire、Frederik Mallmann-Trenn 与 Emanuele Natale。
边界与常见误解
第一,非结构化剪枝不等于必然获得推理加速。由于剪枝后的稀疏模式不规则,能否转化为实际的速度与能耗收益,取决于底层硬件与运行时是否支持对稀疏权重的有效利用。结构化剪枝之所以在实践中受关注,正是因为它更容易带来直接的硬件加速;《Structured vs. Unstructured Pruning: An Exponential Gap》也提到,神经元剪枝尽管在实践上具有直接硬件加速的吸引力,但得到的理论关注有限。
第二,「非结构化剪枝精度总是更高」不应被当作无条件结论。STUN 论文的表述是:在给定剪枝比例下,非结构化剪枝相比结构化剪枝性能最高,因为后者施加了结构约束;但该论文同时给出反直觉的发现,即先做专家剪枝这类结构化剪枝、再做非结构化剪枝,可以优于仅做非结构化剪枝。也就是说,在 MoE 这类具有内在结构的模型上,纯非结构化路线未必是最优选择。
第三,理论结论有明确的适用条件。《Structured vs. Unstructured Pruning: An Exponential Gap》的指数级差距结论,是在「用随机初始化两层 ReLU 网络逼近单个无偏置 ReLU 神经元」这一受限设定下得到的,用于隔离神经元剪枝的固有局限,不能直接外推为任意模型、任意任务上的普遍规律。
第四,非结构化剪枝常被与彩票假说类研究混为一谈。强彩票假说本身是一个关于随机初始化网络内含稀疏子网络的假说,非结构化剪枝是现有支持该假说的理论结果所主要采用的分析框架,但两者并不等同。
第五,剪枝比例是需要权衡的超参数。STUN 论文在 Snowflake Arctic 上报告的是 40% 稀疏度下的结果,这一数字来自该论文的具体实验设定,不代表其他模型或比例下的表现。