MACaQ - 面向本地推理的模型无关低比特量化工具

MACaQ 是华为 CSL（huawei-csl）开源的一套量化工具，目标是产出适合本地推理的高质量低比特权重。按项目自述，它并不局限于文本模型：同一套流程可以量化文本、图像、视频和音频模型，并分别对接 llama.cpp、vLLM、Diffusers 与 PyTorch 等推理后端。它适合两类人：一是希望在有限显存或内存上跑起大模型、需要自己产出量化权重的开发者；二是已经在用 GGUF 或 W4A4 检查点、想进一步压低精度损失或缩短量化耗时的工程团队。

维护者与状态

仓库由 huawei-csl 维护，地址为 github.com/huawei-csl/MACaQ。按官方接口数据，仓库创建于 2026-11-10，最后一次提交在 2026-11-12，截至 2026-11-13 共获得 211 个星标。项目尚无正式 release，也就是说目前没有打标签的发行版本，使用者需要直接跟随仓库中的代码与文档。项目另有一个官方博客页面，用于补充模型对比与配方说明。

主要能力

以下能力均来自项目 README 的自述，未经本站独立验证。

• 模型无关的量化流程：README 称 MACaQ 可对文本、图像、视频、音频模型做量化，并强调「model-agnostic」是其定位核心。
• 低显存量化大模型：项目自述可在仅 32.5 GB 设备内存下、用 64 分钟量化一个 122B 参数模型。这一数字来自维护者陈述，本站未复现。
• 多后端覆盖：Diffusers 后端面向图像、视频与音频生成，采用 W4A4；llama.cpp 后端面向文本生成，输出 2/3/4 比特 GGUF；vLLM 后端面向文本生成与服务化，支持 W4A4 或仅权重量化；PyTorch 后端面向语音生成，采用 W4A4。
• MACaQ-R 精修：据项目说明，MACaQ-R 可在保持 GGUF 原生格式与 block scale 的前提下精修已量化权重中的编码，精修后的文件仍可用标准 llama.cpp 运行。
• Ascend 内核：README 提到 MACaQ 的 W4A4 dense 与 grouped matmul 内核已进入相关 CANN 的 pull request，但完整模型执行仍需与 Ascend 推理运行时集成。

README 中还给出了若干示例模型与配方，例如 Diffusers 侧的 FLUX.2-klein-4B、Wan2.2-TI2V-5B-Diffusers、stable-audio-1.0，llama.cpp 侧的 Qwen3 系列与 OLMoE 等。这些属于项目自述的示例清单，具体可用性以仓库文档为准。

使用入口

代码与文档位于 huawei-csl/MACaQ，模型对比与配方说明另见 官方博客。

据项目说明，使用前应为每个后端准备独立环境，并统一使用 Python 3.12；llama.cpp 后端还支持 CPU 执行。README 给出的 MACaQ-R 精修命令形如：

.venv-llamacpp/bin/python llamacpp/macaq.py refine \
  --model models/model-q4.gguf --hf models/original \
  --teacher models/original-f16.gguf --calibration data/calibration.txt \
  --output models/model-macaq-r.gguf --work-dir work/refinement

精修完成后，可用标准 llama.cpp 直接加载：

llama cli -m models/model-macaq-r.gguf

若要对外提供服务，README 建议改用 llama serve -m models/model-macaq-r.gguf。需要完整 MACaQ 流程（含激活变换）时，则应参考仓库中随附运行时的指南，而不是仅用标准 llama.cpp。

许可与限制

许可证为 Apache-2.0。README 同时说明，仓库中捆绑的第三方组件各自保留其原有许可证，二次分发时需要分别核对。

已知限制与边界，据项目说明整理：

• 各后端需使用独立的 Python 3.12 环境，混装可能出问题。
• 不同后端支持的精度模式不同：Diffusers 与 PyTorch 为 W4A4，llama.cpp 为 2/3/4 比特 GGUF，vLLM 可选 W4A4 或仅权重量化，选型时需先确认目标后端。
• MACaQ-R 的精修需要原始模型、FP16 教师模型与校准数据三者齐备，并非只给一个量化文件即可完成。
• Ascend 路径目前只提供内核层面的支持，完整模型执行依赖外部推理运行时集成。
• 项目尚无正式 release，接口与脚本可能随提交变动。

README 中出现的性能与质量数字（如量化耗时、困惑度、加速比）均为维护者自述，本站未做独立测试，读者应结合自身模型与数据复现后再作判断。