AB
AiBoss站
百科

什么是 OmniQuant?面向大语言模型的全向校准量化方法

OmniQuant 是一种面向大语言模型(LLM)的训练后量化(PTQ)方法,由论文《OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models》提出。它通过可学习的权重裁剪与可学习的等价变换,在保持 PTQ 计算效率的前提下优化量化参数,以缓解极低比特量化下的性能下降。

OmniQuant(Omnidirectionally Calibrated Quantization,全向校准量化)是一种面向大语言模型(Large Language Model,LLM)的训练后量化(Post-Training Quantization,PTQ)方法。按该论文的表述,它要解决的问题是:大语言模型在部署时受制于巨大的内存与计算需求,而既有的 PTQ 方法往往手工设定量化参数,在极低比特场景下性能下降明显;OmniQuant 通过高效地优化各类量化参数,在多种量化配置下取得较好表现,同时保留 PTQ 的计算效率。

为什么重要

大语言模型的参数量与激活规模使其推理部署对显存和算力提出很高要求。量化是压缩模型、降低推理开销的常用手段,其中训练后量化因为不需要重新训练完整模型、成本较低而被广泛采用。但论文指出,已有 PTQ 方法的一个关键短板在于「手工设计」量化参数:裁剪阈值、激活与权重的数值范围等往往由启发式规则确定,模型越大、比特越低,这种手工设定越容易造成精度损失,尤其在极低比特量化下性能退化显著。

另一类做法是量化感知训练(Quantization-Aware Training,QAT),它能在训练中学习量化参数,但需要可观的训练资源与数据,对动辄数十亿参数以上的模型并不轻便。OmniQuant 的定位正处在两者之间:像 PTQ 一样轻量,却把一部分量化参数变成可学习的对象,用少量校准数据做优化。论文给出的一个具体量级是:LLaMA-2 系列 7B 至 70B 的模型,可在单张 A100-40G GPU 上、使用 128 个样本、在 1 至 16 小时内完成处理。这一数字来自论文摘要,属于该论文报告的结果,而非独立复现的结论。

工作机制

按论文描述,OmniQuant 由两个创新组件构成,并运行在一个可微框架内,以块级误差最小化为目标:

  • 可学习权重裁剪(Learnable Weight Clipping,LWC):通过优化裁剪阈值来调节权重的极端值。量化中权重的最大值往往决定量化步长,个别离群值会拉大量化区间、压缩有效表示精度;LWC 把裁剪阈值作为可学习参数,让优化过程自行决定截断位置,而不是依赖人工设定的经验值。
  • 可学习等价变换(Learnable Equivalent Transformation,LET):用于处理激活值中的离群点(outlier)。其思路是做数学上等价的变换,把量化的难点从激活转移到权重上——激活中的极端值难以量化,而权重一侧相对更容易处理。变换参数同样可学习。

这两个组件共同构成「全向」校准:权重侧与激活侧、裁剪与变换都被纳入优化,而不是只调其中一项。优化在块级(block-wise)进行,逐块最小化量化前后的输出误差,因此不需要对整个模型做端到端反传,显存与时间开销可控。论文称该框架同时适用于仅权重量化(weight-only)与权重-激活量化(weight-activation)两类设置。

典型例子

论文中出现的具体对象与配置包括:

  • 模型:LLaMA-2 系列,规模覆盖 7B 至 70B;论文还提到该方法在指令微调(instruction-tuned)模型上同样有效。
  • 量化配置:W4A4(4 比特权重、4 比特激活)、W6A6、W4A16、W3A16、W2A16。其中 W4A4 属于权重与激活同时压到 4 比特的较激进设置。
  • 校准开销:单张 A100-40G GPU、128 个样本、1 至 16 小时(针对上述 LLaMA-2 规模区间)。
  • 论文还报告在真实设备上带来推理速度提升与内存占用下降。

上述性能与效率数据均出自该论文的实验与摘要陈述,应理解为作者报告的结果。论文的代码在摘要中以链接形式给出,具体地址不在本条目重复。

边界与常见误解

首先,OmniQuant 不是免校准的方法。它虽然属于训练后量化,但仍需要少量校准样本(论文示例为 128 个)以及一段优化时间;「训练后」不等于「零成本」,把它理解成完全无需数据、即插即用的压缩工具是一种常见误解。

其次,它也不是量化感知训练。LWC 与 LET 优化的是量化相关参数,而非模型全部权重,且以块级误差最小化为目标,这与在完整训练流程中联合训练模型权重有本质区别。把它称作「轻量 QAT」并不准确。

第三,论文报告的收益有明确的前提条件:特定的模型族(LLaMA-2)、特定的比特配置、特定的校准样本数与硬件。这些结果能否迁移到其他架构、其他模态或更极端的比特设置,论文并未给出普遍性结论。摘要中「在多种量化配置下表现优越」是作者基于自身实验的判断,不应被转述为业界共识。

第四,极低比特(如 W2A16)本身仍是有损压缩,量化带来的精度代价不会因方法改进而消失,只是被缓解。实际部署时还需结合任务对精度的敏感度评估取舍。

参考资料