什么是 MiniLLM（MiniLLM）？一种面向大语言模型的反向 KL 在线蒸馏方法

MiniLLM 是一种面向大语言模型（Large Language Model, LLM）的知识蒸馏（Knowledge Distillation, KD）方法，出自论文《MiniLLM: On-Policy Distillation of Large Language Models》。它要解决的问题是：大语言模型推理成本高，而以往的知识蒸馏方法主要面向白盒分类模型，或只让一个小模型去模仿黑盒模型 API 的输出，如何把白盒大语言模型的知识有效迁移到小模型上仍缺少充分研究。MiniLLM 的做法是把标准蒸馏中的前向 KL 散度（forward Kullback-Leibler divergence, forward KLD）目标换成反向 KL 散度（reverse KLD），并给出一种在线策略（on-policy）的优化方法来学习该目标；用这套方法训练出的学生模型被命名为 MiniLLM。

为什么重要

论文指出，知识蒸馏是降低大语言模型高昂计算需求的一条有前景的技术路线。但在 MiniLLM 之前，蒸馏方法的应用场景主要有两类：一类是白盒分类模型，另一类是训练小模型去模仿 ChatGPT 这类黑盒模型的 API 输出。随着开源大语言模型增多，把白盒大语言模型的知识蒸馏进小模型变得更重要，而这一方向此前研究不足。

直接沿用标准蒸馏目标会带来一个具体问题。标准做法使用前向 KL 散度，它要求学生分布覆盖教师分布的所有区域。对生成式语言模型而言，教师分布中存在大量低概率区域，前向 KL 会迫使学生在这些区域也分配概率质量，导致学生高估教师分布的低概率区域。论文正是针对这一点提出替换目标函数，因此 MiniLLM 的贡献不只是「把大模型变小」，而是重新定义了蒸馏时学生应当逼近教师的哪种统计特性。

工作机制

按论文的叙述，MiniLLM 的核心做法可以拆成两个环节。

替换目标函数：用反向 KL 散度取代前向 KL 散度。论文认为反向 KL 更适合生成式语言模型的蒸馏，其作用是防止学生模型高估教师分布中的低概率区域。换言之，优化的重点从「覆盖教师的全部输出可能性」转向「在教师真正会产出的区域上贴近教师」。
推导在线策略的优化方法。反向 KL 目标不能直接照搬标准蒸馏的训练流程，论文为此推导出一种有效的在线策略优化方式，让学生模型在自身当前分布产生的样本上接受教师信号的校正，而不是只在固定的教师生成数据上做监督式模仿。

论文将这一目标与优化方式结合，训练得到的学生模型统一称为 MiniLLM。需要说明的是，上述机制描述来自论文摘要层面的表述；论文全文对目标函数推导与优化细节有更完整的形式化，本词条不展开未经素材确认的公式细节。

典型例子

论文在指令遵循（instruction-following）设定下进行了实验。据论文摘要，与基线方法相比，MiniLLM 生成的回答更精确、整体质量更高，同时具有更低的暴露偏差（exposure bias）、更好的校准（calibration）以及更强的长文本生成表现。

在规模方面，论文称该方法可扩展到不同模型家族、参数量从 120M 到 13B 的模型。论文还说明其代码、数据和模型检查点已公开。该论文发表于 ICLR 2024，作者为 Yuxian Gu、Li Dong、Furu Wei、Minlie Huang。上述效果结论均为论文作者在其实验设定下报告的结果，并非独立第三方复现结论。

边界与常见误解

首先，MiniLLM 是一种蒸馏方法及由此得到的学生模型系列，而不是一个新的基础模型架构或推理引擎。它不改变教师模型本身的规模，也不承诺在不损失能力的前提下无限压缩。

其次，论文明确其针对的是白盒大语言模型，即可以访问教师模型输出分布的情形。这与「只调用黑盒 API、仅模仿其文本输出」的蒸馏路线不同，后者正是论文认为已有工作较多覆盖的场景。因此把 MiniLLM 理解为通用的黑盒模型压缩方案并不准确。

第三，反向 KL 的选择有明确动机，但也有代价含义：它倾向于让学生集中在教师高概率区域，而不是覆盖教师分布的全部支撑集，这在需要多样性的场景下是否合适，需要结合具体任务判断。论文摘要强调的是指令遵循设定下的结果，其他任务类型上的表现不应直接外推。

第四，论文报告的「更精确」「更低暴露偏差」「更好校准」等结论，是在其自身实验设置和基线对比下得出的，属于论文主张，不应写成已被行业普遍验证的共识。不同教师模型、不同数据与不同训练预算下的实际表现，需要以具体实验为准。

参考资料

MiniLLM: On-Policy Distillation of Large Language Models（arXiv:2306.08543）