什么是对抗偏好优化（Adversarial Preference Optimization）？

对抗偏好优化（Adversarial Preference Optimization，APO）是一种用于大语言模型（Large Language Model，LLM）人类偏好对齐的训练框架：它把语言模型与奖励模型（Reward Model，RM）放进一个极小极大（min-max）博弈中，让两者交替更新。它要解决的问题是：当语言模型被持续优化、生成分布不断偏移时，原本用于训练奖励模型的人工标注偏好数据会与模型新产生的样本之间形成分布差距（distribution gap），而 APO 试图在不追加人工标注的前提下让奖励模型适应这种偏移。

为什么重要

论文指出，人类偏好对齐是提升大语言模型交互质量的关键环节，而现有对齐方法依赖人工标注的偏好数据来指引模型优化方向。这类流程通常分两步：先收集人类对模型回答的偏好判断，训练一个奖励模型；再用奖励模型去优化语言模型。

问题出在第二步之后。语言模型一旦被持续更新，它生成的样本分布就会偏离当初标注数据所处的分布，于是奖励模型面对的输入与它训练时见过的数据不再一致，训练效果因此受到削弱。论文把这一现象概括为「模型生成样本与人工标注回答之间的分布差距」。

针对这一差距，此前的一种做法是对新生成的样本再补做一轮偏好标注，让奖励模型重新适配偏移后的分布。论文认为这种方案会消耗大量标注资源，因而把「更高效的人类偏好优化」作为 APO 的出发点。

工作机制

按论文的描述，APO 的核心做法可以拆成以下几点：

博弈双方：一方是待对齐的大语言模型，另一方是奖励模型。奖励模型的作用是给出偏好打分，语言模型则朝奖励更高的方向优化。
交替更新：两者不是一次性先后训练，而是轮流更新，构成一个极小极大博弈。语言模型一侧在提升自己以获取更高奖励，奖励模型一侧则在适应语言模型新产生的样本。
无需追加标注：论文强调，通过这种对抗训练，奖励模型能够适配语言模型偏移后的生成分布，而不需要任何额外的偏好标注。这正是 APO 相对「重新标注新样本」路线的效率来源。
目标：论文将整体目标表述为更高效的人类偏好优化，并在实验中考察该对抗训练框架对既有对齐基线的影响。

需要说明的是，上述机制描述来自论文摘要层面的表述；具体的损失函数形式、交替更新的频率与超参数设置，需以论文全文为准，此处不作推断。

典型例子

论文摘要给出的实验结论是：作者进行了较为全面的实验，发现所提出的对抗训练框架在语言模型的有用性（helpfulness）与无害性（harmlessness）两个维度上，进一步增强了现有的对齐基线。也就是说，APO 在论文中被定位为一种可叠加在已有对齐方法之上的增强框架，而非完全替代既有流程。

论文同时给出了代码链接，并在摘要中说明该工作被 ACL2024 findings 接收。论文作者为 Pengyu Cheng、Yifan Yang、Jian Li、Yong Dai、Tianhao Hu、Peixin Cao、Nan Du、Xiaolong Li。该论文于 2023 年 11 月 14 日首次提交至 arXiv，当前版本为 2024 年 6 月 3 日的 v4。

除论文自身报告的这一实验结论外，本词条不引用其他系统或产品的应用案例，因为素材中未提供。

边界与常见误解

它不是一种新的偏好数据采集方法。APO 的卖点恰恰是不再追加标注，而是通过奖励模型与语言模型的对抗更新来消化分布偏移。把它理解为「更省标注的对齐训练流程」比理解为「标注规范」更贴近论文原意。

它不等于让模型自我对弈、自我评判。博弈的另一方是一个独立的奖励模型，奖励模型本身也在被更新；这与单纯用固定奖励模型反复优化语言模型的做法不同，后者正是分布差距产生的场景之一。

效果表述应归于论文。「在有用性与无害性上增强既有对齐基线」是论文作者基于其自身实验得出的结论，属于该论文的主张，不应被表述为业界共识或已被广泛复现的定论。对抗训练本身在稳定性与调参上通常较为敏感，但这一点属于通用经验，论文摘要未作具体讨论，故不将其归为 APO 的已知代价。

适用范围有限定。APO 面向的是「已有偏好标注数据、且语言模型会持续更新」的对齐场景；对于完全不使用奖励模型的对齐路线，或标注数据与模型分布本就同步更新的场景，其必要性需要另行评估。素材未给出 APO 在其他任务或模态上的验证结果。

参考资料

Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game（arXiv:2311.08045）