什么是身份偏好优化（Identity Preference Optimization）？

身份偏好优化（Identity Preference Optimization，IPO）是一种用于让语言模型对齐人类偏好的训练方法，它直接从成对偏好数据中学习生成策略，而不经过显式的奖励模型阶段。按照 Google DeepMind 官方文档的说法，IPO 是其所提出的广义目标 ΨPO 的一个特例，研究者为它推导出了高效的优化过程，并给出了性能保证。它要解决的问题是：在基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）与直接偏好优化（Direct Preference Optimization，DPO）这两类做法中，偏好学习都依赖某些近似假设，而这些假设可能带来过度训练等隐患。

为什么重要

在 IPO 出现之前，把语言模型对齐到人类偏好主要有两条路线。

第一条是 RLHF。Google DeepMind 的文档指出，主流的 RLHF 部署依赖两个重要近似：其一，假设成对偏好可以被逐点奖励替代；其二，假设在这些逐点奖励上训练出的奖励模型，能够从收集到的数据泛化到策略采样出的分布外数据。这条路线需要先拟合奖励模型，再用策略梯度类算法优化生成策略，流程较长。

第二条是 DPO。该文档称，DPO 被提出时绕过了第二个近似，即不再需要奖励建模阶段，直接从收集的数据学习策略。但它仍然严重依赖第一个近似，也就是把成对偏好当作逐点奖励来处理。文档进一步指出，通过把 RLHF 与 DPO 视为 ΨPO 的特例进行深入分析，可以看出二者尽管带有正则化，仍可能出现过训练（over-training）的倾向。

IPO 的意义在于：它是在同一个以成对偏好表达的广义目标框架下推导出来的另一个特例，因此同时绕开了上述两个近似。Google DeepMind 的文档称，其分析显示 IPO 对过度训练保持稳健。对于需要长期迭代偏好数据、又担心模型在偏好数据上越训越偏的训练流程来说，这是一个值得关注的替代方案。

工作机制

根据 Google DeepMind 官方文档的描述，IPO 的机制可以从以下几个层面理解。

从成对偏好出发的广义目标。研究者先推导出一个称为 ΨPO 的广义目标，它直接以成对偏好（pairwise preferences）来表达，而不是先把偏好压缩成逐点奖励。由于不经过「偏好→逐点奖励→奖励模型」这条链路，ΨPO 同时绕开了 RLHF 的两个近似。
把已有方法当作特例分析。在 ΨPO 框架下，RLHF 和 DPO 都可以被看作特殊参数化下的特例。研究者借此对二者的行为做深入分析，并识别其潜在缺陷，其中就包括带正则化仍可能过度训练的问题。
选取 IPO 这一特例并求解。研究者考虑 ΨPO 的另一个特例，即身份偏好优化（IPO），为它推导出高效的优化过程，并给出性能保证。也就是说，IPO 不是临时拼凑的损失函数，而是在一个统一目标下选定参数化形式后得到的可求解实例。
以实验佐证。文档提到，研究者在一个人工合成（synthetic）示例上展示了 IPO 的实证表现，并用它说明 IPO 相对 RLHF 与 DPO 在过度训练问题上的差异。

需要说明的是，上述内容均来自 Google DeepMind 对该论文的官方摘要性描述；具体的损失形式、推导细节与超参数设置，应以论文原文为准。

典型例子

素材中与 IPO 直接相关的真实材料有两处。

其一是 Google DeepMind 于 2024 年 3 月 11 日发布的出版物页面《Understanding Learning from Human Preferences》。该页面列出了作者 Mohammad Gheshlaghi Azar、Mark Rowland、Bilal Piot、Zhaohan Daniel Guo、Daniele Calandriello、Michal Valko、Rémi Munos，并注明其发表 venue 为 AISTATS 2024。页面摘要给出了 ΨPO 的推导思路、对 RLHF 与 DPO 的批评，以及 IPO 作为特例的高效优化过程、性能保证和合成示例上的实证表现。

其二是 arXiv 上的一篇偏好学习论文《Preference as Reward, Maximum Preference Optimization with Importance Sampling》（arXiv:2312.16430，作者 Zaifan Jiang、Xing Huang、Chao Wei）。该论文在回顾偏好学习方法时提到了 IPO：论文称，DPO 存在对偏好数据过拟合、在偏好确定时忽略 KL 正则项的问题；而身份偏好优化（Identity mapping Preference Optimization，IPO）使用求根式（root-finding）的均方误差损失来纳入 KL 正则化。该论文同时指出，DPO 与 IPO 都未能恰当处理 KL 正则项，原因是偏好分布的支撑集与参考分布不相等，并据此提出了自己的方法 MPO。这是一篇第三方论文对 IPO 的评述，属于该作者的观点，不代表 IPO 提出者的立场。

边界与常见误解

第一，不要把 IPO 理解为「无需任何正则化的偏好优化」。恰恰相反，IPO 的出发点之一就是在目标中更恰当地处理正则化与偏好拟合之间的权衡；Google DeepMind 文档强调的是它在带正则化条件下对过度训练的稳健性。

第二，不要把「对过度训练稳健」当成在所有任务上都优于 RLHF 或 DPO 的结论。该结论出自 Google DeepMind 的论文分析与其合成示例实验，其适用范围受实验设置限制；素材中并未给出在真实大规模对话任务上的对比数据。

第三，注意名称与缩写的歧义。arXiv:2312.16430 这篇论文把 IPO 写作 Identity mapping Preference Optimization，而 Google DeepMind 文档使用 Identity Preference Optimization，两者指向同一方法，但字面不同；引用时应注明出处。

第四，IPO 并非没有代价。它仍然依赖成对偏好数据的质量与覆盖范围；作为 ΨPO 的特例，其行为受该广义目标中参数化选择的影响。素材未提供计算开销、数据规模需求等方面的量化结论，因此不宜对其效率作具体断言。

第五，IPO 与 DPO 的关系容易被误解为「替代品」。更准确的表述是：二者都是同一广义偏好学习框架下的不同特例，差别在于对偏好数据与正则项的处理方式，以及由此带来的训练行为差异。

全部分类