什么是对比偏好优化（Contrastive Preference Optimization）？一种让大语言模型避开「合格但不完美」输出的训练方法

对比偏好优化（Contrastive Preference Optimization，CPO）是一类面向大语言模型（Large Language Model，LLM）的训练与对齐方法，其核心思路是：不只让模型模仿参考输出，还要训练模型主动避开那些「合格但不完美」的输出。它要解决的问题是，监督微调（Supervised Fine-Tuning，SFT）只能把模型拉向参考数据，而参考数据本身可能带有质量问题，模型因此学不到「什么样的输出更好、什么样的输出只是勉强可用」这一层区分。

为什么重要

在 CPO 出现之前，让大语言模型胜任翻译、摘要这类生成任务的主流做法是监督微调：给定源文本和人工参考输出，用最大似然目标让模型逐词复现参考。这一路线的问题在于，它把参考输出当成唯一正确答案，而参考输出并不总是完美。

arXiv 论文《Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation》在机器翻译场景下专门评估了 SFT 的不足，指出参考数据虽然由人工生成，仍存在质量问题。该论文提到，即便是表现最好的 13B 参数规模的基于 LLM 的翻译模型（如 ALMA），也仍比不上最先进的传统编码器—解码器翻译模型，或 GPT-4 这类更大规模的模型。

ACL Anthology 收录的论文《Improving Factual Consistency of News Summarization by Contrastive Preference Optimization》则从新闻摘要角度描述了另一类痛点：大语言模型生成的摘要常与原文事实不一致，也就是文本生成中的「幻觉（hallucination）」。该论文指出，与 BART、T5 等早期小模型相比，当前 LLM 犯的低级错误更少，但错误更隐蔽，例如强加因果关系、添加虚假细节、过度概括等，传统方法难以检测，给提升摘要事实一致性带来很大挑战。

两篇论文的共同判断是：仅靠模仿参考输出，无法让模型学会区分「忠实、可靠的内容」与「看似合理实则虚假的内容」，需要一种显式的对比信号。

工作机制

CPO 并不是一个由单一团队维护的统一规范，两篇论文各自给出了自己的实现。下面按论文分别说明。

机器翻译方向的做法

先诊断 SFT 的短板。该论文先评估 SFT 在机器翻译任务上的不足，重点指出参考译文即使由人工产出也存在质量缺陷，模型若一味模仿，就会把这些缺陷一并学进去。
把训练目标从「模仿」改为「避开」。与 SFT 模仿参考译文不同，CPO 训练模型避免生成「合格但不完美」的译文。也就是说，训练信号不只告诉模型什么是好输出，还告诉它哪些输出虽然看起来过得去、却应当被排除。
在已有模型上做轻量适配。该论文把 CPO 应用于 ALMA 模型，使用的平行句对为 22K，可训练参数为 12M。得到的模型称为 ALMA-R。

新闻摘要方向的做法

解耦两种倾向。该论文提出的 CPO 旨在把 LLM 生成忠实内容与生成虚假内容的两种倾向分离开来，使二者不再纠缠在同一组表示中。
用探测式训练强化区分能力。在此基础上，论文采用一种基于探测（probing）的特定训练方法，提升模型区分这两类倾向的能力。
目标是更准确地执行指令。按该论文的表述，经过这样的训练，LLM 能更准确地执行指令，并对幻觉有更强的感知能力。

可以看出，两篇论文共享同一个方法论内核——用对比的方式让模型学会「不要什么」，但具体的目标构造、训练流程与适用任务并不相同。把 CPO 理解成某一种固定算法，会与原始文献不符。

典型例子

素材中出现过的具体系统与数据如下：

ALMA 与 ALMA-R（机器翻译）。该论文将 CPO 应用于 ALMA 模型，仅使用 22K 平行句对、12M 参数，得到 ALMA-R。论文称，ALMA-R 在 WMT'21、WMT'22 和 WMT'23 测试数据集上可以匹配或超过 WMT 竞赛获胜者以及 GPT-4 的表现。这是该论文作者报告的结果，属于其自述结论。
新闻摘要的事实一致性任务。另一篇论文把 CPO 用于新闻摘要，针对 LLM 摘要与原文事实不一致的问题。论文称实验结果显示 CPO 显著提升了基于 LLM 的摘要可靠性。同样，这是该论文作者的报告。

两个例子分别落在翻译与摘要两个任务上，说明 CPO 这一名称在文献中被用于不同任务，读者在引用时应指明是哪一篇论文的 CPO。

边界与常见误解

不是行业统一标准。CPO 目前是两篇论文各自提出的方法名称，二者在目标函数与训练细节上并不一致。素材中没有出现任何标准化组织或统一规范，因此不宜把它描述为业界共识或通用协议。
不等于「只要用了就更好」。论文报告的提升是在特定模型、特定数据规模与特定评测集上得到的。例如 ALMA-R 的结论建立在 22K 平行句对、12M 参数以及 WMT'21–'23 测试集这些条件之上，不能直接外推到其他模型规模、语言对或任务。
不能替代对参考数据质量的治理。机器翻译方向的论文正是从参考数据存在质量问题出发设计 CPO 的，但这不意味着参考数据本身的问题被消除；CPO 改变的是模型如何使用这些数据。
「避开不完美输出」需要可判别的信号。摘要方向的论文特别指出，当前 LLM 的幻觉更隐蔽，传统方法难以检测，因此该论文额外引入基于探测的训练方法来增强区分能力。这说明对比信号的质量本身是方法成败的关键条件之一。
名称易混。「对比偏好优化」中的「对比」指的是训练信号上的对比关系，与对比学习（contrastive learning）中的具体技术细节不能直接画等号；两篇论文均未在素材中把它定义为对比学习的一个分支。

全部分类