什么是序列似然校准（Sequence Likelihood Calibration）？一种让模型概率排序对齐质量的训练方法

序列似然校准（Sequence Likelihood Calibration，SLiC）是一种面向条件语言生成任务的训练方法：它把模型为自身生成序列分配的对数似然，校准到与参考序列在模型隐空间中的相对位置更一致，使似然分数能够更好地按质量对候选序列排序。它要解决的问题是：以最大似然估计（Maximum Likelihood Estimation，MLE）训练出来的条件语言模型，虽然会给合理的序列分配较高概率，但这些概率往往不能准确地把生成序列按质量排好序。

为什么重要

论文指出，条件语言模型主要以最大似然估计训练，概率质量会被分配给在训练数据中稀疏出现的目标序列。这样训练出的模型在给定上下文时会给看似合理的序列较高概率，但模型概率常常不能按质量对生成序列做出准确排序。论文称这一现象在束搜索（beam search）解码中有经验性的观察：随着束宽增大，输出质量反而下降；同时，长度归一化、重复阻断等启发式手段会让解码效果变好——这本身就说明原始似然分数不足以充当质量排序依据。

在 SLiC 之前，实践中的常见做法是在解码阶段打补丁：调整长度惩罚、屏蔽重复片段、挑选束宽等。这些启发式并非从训练目标中来，需要针对任务和模型反复调试，而且只能部分弥补似然与质量之间的错位。SLiC 的思路是把这一修正前移到训练阶段，让模型自身的似然分数承担排序职责，从而让解码启发式变得不必要。

工作机制

按论文的描述，SLiC 的核心做法可以拆成以下几个要点：

以模型自身生成的序列为对象。校准的对象不是人工书写的目标序列，而是模型生成的候选序列，其似然在模型自身的隐空间中被调整。
以参考序列为锚点。论文的表述是：把模型生成序列的似然校准到与参考序列在模型隐空间中的位置更一致。也就是说，校准信号来自参考序列在隐空间中的相对位置，而不是简单地提高或压低某个绝对概率值。
目标是排序而非绝对概率。SLiC 关心的是让候选序列的似然顺序与质量顺序一致，这样无论采用哪种解码方法，候选的质量都能得到改善。
与解码解耦。论文称，使用 SLiC 后解码启发式变得不必要，且解码候选的质量在不论采用何种解码方法时都显著提升。

论文还报告了两个与规模有关的观察：SLiC 的效果没有随模型规模增大而出现收益递减的迹象；它提供了在有限训练与推理预算下改善质量的其他途径。论文称，即使使用中等规模的模型，SLiC 在抽象式摘要、问题生成、抽象式问答和数据到文本生成等广泛任务上也能达到或超过当时的 SOTA 结果。这些结论均出自该论文的实验，属于论文作者的主张。

从 SLiC 到 SLiC-HF

后续论文《SLiC-HF: Sequence Likelihood Calibration with Human Feedback》把 SLiC 扩展为可以直接从人类偏好数据中学习，称为 SLiC-HF。该论文指出，此前从人类反馈中学习的工作多依赖基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF），即用人类偏好数据训练奖励模型，再用奖励分数优化语言模型；SLiC-HF 则展示 SLiC 同样可以有效地从人类偏好中学习。该论文还说明，这一过程可以使用为另一个模型收集的人类反馈数据，类似于离策略（off-policy）的离线强化学习数据。

在 TL;DR 摘要任务上，该论文的自动评估与人工评估实验显示，SLiC-HF 相对监督微调（supervised fine-tuning）基线有显著提升；论文同时称，SLiC-HF 是此前工作中所用 PPO RLHF 实现的有竞争力的替代方案，同时实现起来简单得多、更容易调参，在实际中也更具计算效率。

典型例子

素材中出现过的具体对象包括：

束搜索解码中的质量退化。论文以束搜索为例说明问题：束宽增大时输出质量下降，而长度归一化、重复阻断等启发式能带来改善，这被用作「模型概率不能按质量排序」的经验证据。
四类生成任务。论文在抽象式摘要、问题生成、抽象式问答、数据到文本生成上评估 SLiC，并称在中等规模模型上达到或超过 SOTA。
TL;DR 摘要任务。SLiC-HF 论文在该任务上做了自动评估与人工评估，与监督微调基线以及 PPO RLHF 实现进行比较。
跨模型收集的偏好数据。SLiC-HF 论文展示了使用为不同模型收集的人类反馈数据进行训练的做法，论文将其类比为离策略、离线强化学习数据。

边界与常见误解

首先，SLiC 不是一种解码算法。它改变的是训练阶段似然的校准方式，解码环节仍可使用束搜索、采样等方法；论文的主张恰恰是校准之后解码启发式不再必要，而不是提出新的解码器。

其次，SLiC 不等于 RLHF。SLiC-HF 论文明确把自身定位为 PPO RLHF 的替代方案，强调其实现更简单、更易调参、计算效率更高；但这是该论文在 TL;DR 任务上的实验结论，不应外推为在所有任务、所有模型上都成立的一般规律。

第三，论文报告的「无收益递减」「达到或超过 SOTA」等结论，均以论文自身的实验设置、基线选择和评估方式为条件。素材未给出具体的模型规模、数据规模与数值结果，因此不宜把这些表述当作可复现的定量承诺。

第四，SLiC 针对的是条件语言生成中似然与质量排序错位的问题。对于不涉及从多个候选序列中按质量挑选的任务，或评估信号本身与目标质量不一致的场景，这一方法的适用性需要另行验证，素材未对此作出说明。

最后，SLiC-HF 依赖人类偏好数据，论文提到这类数据可以来自为其他模型收集的反馈，但这同时也意味着数据与目标模型之间存在分布差异，属于该方法在设计上就要面对的条件，而非可以忽略的细节。

全部分类