AB
AiBoss站
百科

什么是广义知识蒸馏(Generalized Knowledge Distillation)?

广义知识蒸馏(GKD)是知识蒸馏领域的一个名称,在公开文献中至少对应两条不同路线:一条是面向大规模预训练语言模型的通用蒸馏框架,另一条是让学生模型在自生成序列上接受教师反馈的在线策略蒸馏方法。本词条依据两篇 arXiv 论文梳理其定义、动机、机制与边界。

广义知识蒸馏(Generalized Knowledge Distillation,GKD)是知识蒸馏(Knowledge Distillation,KD)研究中的一个名称,在公开文献中至少被用于指代两条不同的技术路线。其一出自论文《GKD: A General Knowledge Distillation Framework for Large-scale Pre-trained Language Model》,指一个支持在更大规模预训练语言模型(Pre-trained Language Model,PLM)上使用多种蒸馏方法的通用蒸馏框架;其二出自论文《On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes》,指一种让学生模型在自己生成的输出序列上接受教师模型反馈的蒸馏方法。两者共同针对的问题是:传统知识蒸馏在模型规模变大、方法变多、训练与推理分布不一致时,难以直接落地。

为什么重要

知识蒸馏的基本思路是用一个较大的教师模型指导一个较小的学生模型,从而降低推理成本与显存占用。按照第二篇论文的描述,知识蒸馏被广泛用于压缩教师模型,以减少推理开销和内存占用。但把这一思路用到真实场景时会遇到两类障碍。

第一类是工程与规模上的障碍。第一篇论文指出,通过知识蒸馏缩小大规模预训练语言模型的参数规模,确实有助于模型在各种设备上部署;然而在实际的工业级应用中,蒸馏系统的部署面临很大挑战:需要在更大规模的模型(超过 10B)上使用复杂的蒸馏方法,同时受限于 GPU 显存,还要处理不同蒸馏方法之间的切换。换言之,方法越多、模型越大,显存与方法组合的管理成本就越高。

第二类是自回归序列模型特有的分布不匹配问题。第二篇论文指出,当时针对自回归序列模型的蒸馏方法存在训练与推理之间的分布不匹配:训练时学生看到的是固定的一组输出序列,而推理时学生生成的是自己的序列,两者分布不同,误差会沿序列累积。这一问题在摘要、翻译、算术推理等生成式任务上尤为突出。

正是这两类痛点,分别催生了同名但侧重不同的两条 GKD 路线:一条解决「能不能在有限显存下蒸馏超大模型并自由组合方法」,另一条解决「学生该在什么样的序列上向教师学习」。

工作机制

路线一:通用蒸馏框架

第一篇论文提出的 GKD 是一个通用知识蒸馏框架,其核心主张是:支持在更大规模的预训练语言模型上使用多种蒸馏方法。按该论文的表述,这一框架带来两点能力:

  • 在显存受限的 GPU 上构建更大的蒸馏模型。 开发者不必因为单卡或单机显存不足而放弃对超大模型的蒸馏。
  • 在单一框架内切换与组合不同蒸馏方法。 这直接回应了工业场景中「方法切换」带来的工程负担。

论文给出的实验结论是:GKD 可以在 8 块 NVIDIA A100(40GB)GPU 上支持至少 100B 规模预训练语言模型的蒸馏,并覆盖 25 种主流方法。需要说明的是,这些数字是该论文作者报告的实验结果,属于该框架的能力声明,而非独立第三方评测结论。

路线二:在线策略蒸馏

第二篇论文给出的 GKD 定义更偏向训练目标本身。其做法可以拆成几个要点:

  1. 不再只依赖固定的输出序列。 传统监督式蒸馏使用一组预先给定的序列作为学习目标;GKD 改为让学生模型生成自己的输出序列。
  2. 由教师对这些自生成序列给出反馈。 学生在自己「走过的路径」上接受教师的评价,从而把训练分布向推理分布靠拢,缓解分布不匹配。
  3. 损失函数可以替换。 与监督式蒸馏不同,GKD 允许在学生与教师之间采用其他损失函数。论文指出,当学生缺乏足够表达能力去模仿教师分布时,这一点尤其有用。
  4. 可与强化学习微调衔接。 论文称 GKD 能让蒸馏与 RL 微调(RLHF)无缝集成。

论文在摘要、翻译、算术推理任务上展示了该方法对自回归语言模型的蒸馏效果,并展示了面向指令微调的任务无关蒸馏。这些任务名称与结论均来自论文摘要,具体数值需查阅原文。

典型例子

两篇论文各自给出了可对照的具体场景:

  • 第一篇论文的框架面向工业级部署:在 8 块 NVIDIA A100(40GB)GPU 上蒸馏至少 100B 规模的预训练语言模型,并支持 25 种主流蒸馏方法的切换与组合。该论文被 ACL 2023 工业 track 接收。
  • 第二篇论文的方法面向生成式任务:在摘要、翻译、算术推理三类任务上蒸馏自回归语言模型,并用于指令微调的任务无关蒸馏。该论文被 ICLR 2024 接收。

这两个例子说明,「广义知识蒸馏」在文献中并不是一个单一系统,而是一个被不同团队分别使用的名称。读者在检索时应以论文标题与作者为准,避免把两者混为一谈。

边界与常见误解

误解一:GKD 是一个统一的标准。 从现有素材看,至少有两篇论文独立使用这一名称,分别指向框架与训练方法,二者的问题设定、技术手段与实验对象都不同。把它当作某个既定规范来引用是不准确的。

误解二:GKD 一定优于传统蒸馏。 两篇论文都报告了各自方法的效果,但这些是作者在其设定下的实验结论。第一篇论文的能力声明依赖特定的硬件配置(8 块 A100 40GB);第二篇论文的效果依赖教师反馈的质量与所选的损失函数。脱离这些条件谈优劣没有依据。

已知代价与限制。 框架路线需要较大的多卡资源才能覆盖超大模型,其收益与显存预算直接相关;在线策略路线需要学生在训练中反复自生成序列并由教师打分,相比使用固定序列的监督式蒸馏,训练流程更复杂,且论文明确指出学生可能缺乏模仿教师分布的表达能力,这正是需要替换损失函数的原因。

不适用的情况。 素材未涉及非自回归模型、非语言模型任务或小规模模型上的表现,因此不能据此推断 GKD 在这些场景同样有效。

参考资料