什么是优势比偏好优化（ORPO）？一种免参考模型的单阶段偏好对齐方法
优势比偏好优化（ORPO）是 Hong、Lee 与 Thorne 在论文《ORPO: Monolithic Preference Optimization without Reference Model》中提出的一种语言模型偏好对齐算法。它把监督微调与偏好对齐合并为一个阶段，用优势比（odds ratio）对不被偏好的回答施加轻微惩罚，从而省去单独的偏好对齐阶段和参考模型。
优势比偏好优化（Odds Ratio Preference Optimization，ORPO）是一种用于语言模型偏好对齐的训练算法。按提出该方法的论文描述，它把监督微调（supervised fine-tuning，SFT）与偏好对齐合并为单一训练阶段，在微调过程中用优势比（odds ratio）对比被偏好与被排斥的回答风格，并对后者施加惩罚，因此不需要额外的偏好对齐阶段，也不需要参考模型（reference model）。它要解决的问题是：以往要让模型既会遵循指令、又符合人类偏好，通常需要先做监督微调、再做一轮偏好优化，流程长、显存与算力开销大。
为什么重要
论文在引言部分回顾了此前的常见做法。近年来面向语言模型的偏好对齐算法取得了不少进展，但论文强调，监督微调仍然是模型成功收敛的必要前提。也就是说，实践中通常先做监督微调，让模型学会按指令生成，然后再用偏好数据做第二阶段对齐。
这类两阶段流程的代价主要体现在两方面。其一是流程成本：需要准备两套数据、跑两次训练，并分别调参。其二是参考模型成本：以直接偏好优化（Direct Preference Optimization，DPO）为代表的偏好优化方法，在训练时需要同时保留一个参考模型，用它约束策略模型不要偏离初始分布太远；这意味着要额外加载一份模型权重，显存占用和计算开销都会上升。
ORPO 的出发点正是重新审视监督微调在偏好对齐中的角色。论文提出，只要在监督微调阶段对被排斥的生成风格施加一个较小的惩罚，就足以实现偏好对齐。基于这一观察，作者给出了一个无需参考模型的单阶段算法，从而省去第二阶段。
工作机制
按论文的描述，ORPO 的核心做法可以拆成以下几点。
- 单阶段合并训练：不再把「监督微调」和「偏好对齐」分成两次训练，而是在同一次训练中同时使用偏好数据对（被选中的回答与被拒绝的回答），让模型在学习生成的同时接受偏好信号。论文把这种设计称为「单体式」（monolithic）。
- 以优势比作为对比信号：算法用优势比来衡量模型生成被偏好回答与被排斥回答的相对倾向。优势比是概率的比值之比，相比直接使用概率差，它对两个回答各自概率的相对大小更敏感。论文从经验与理论两方面论证，优势比是在监督微调过程中对比偏好风格与排斥风格的合理选择。
- 对排斥风格施加轻微惩罚：训练目标在常规的监督微调损失之外，加入一项基于优势比的惩罚项，压低模型生成被拒绝回答的倾向。论文强调这一惩罚是「轻微」的，目的是在不破坏监督微调收敛性的前提下引入偏好信号。
- 不需要参考模型：由于偏好信号直接嵌入监督微调目标，训练时无需额外维护一份冻结的参考模型，也就不需要计算策略模型与参考模型之间的相对概率。这是 ORPO 与需要参考模型的偏好优化方法的主要结构差异。
论文还指出，该方法的有效性在 125M 到 7B 的不同参数规模上都有验证，说明它并非只适用于某一特定尺寸的模型。
典型例子
论文给出了具体的实验设置与结果，以下均为该论文报告的内容。
- 基座模型：作者用 ORPO 分别微调了 Phi-2（2.7B）、Llama-2（7B）与 Mistral（7B）。
- 训练数据：仅使用 UltraFeedback 数据集进行微调。
- 对比对象：论文称，这样训练出的模型在表现上超过了参数量在 7B 与 13B 以上的当时先进语言模型，包括 Llama-2 Chat 与 Zephyr。
- 报告指标：在 AlpacaEval 2.0 上最高达到 12.20%，在 IFEval（指令级宽松判定）上达到 66.19%，在 MT-Bench 上取得 7.32 分。
- 公开产物：作者发布了代码，以及 Mistral-ORPO-α（7B）与 Mistral-ORPO-β（7B）两个模型检查点。
需要说明的是，上述数字与对比结论均出自论文本身，属于作者在其设定下报告的结果，并非独立第三方复现的结论。
边界与常见误解
第一，ORPO 并不等于「不需要监督微调」。论文的立场恰恰相反：监督微调仍是收敛的必要前提，ORPO 做的是把偏好对齐并入监督微调，而不是取消监督微调。把它理解成「跳过微调直接对齐」是一种误读。
第二，「无需参考模型」不等于「无需偏好数据」。算法仍然依赖成对的被偏好与被拒绝回答，偏好数据的质量与构造方式依然是训练效果的前提；论文的实验也建立在 UltraFeedback 这一特定数据集上。
第三，论文报告的领先幅度是在其选定的基座模型、数据集与评测配置下得到的。AlpacaEval 2.0、IFEval、MT-Bench 都是特定评测，分数高低受评测方式影响，不宜直接外推为在所有任务上普遍更优。
第四，关于「轻微惩罚足够」这一判断，论文是从经验与理论两方面给出论证的，但它仍是该论文的主张，而非领域内已被普遍接受的定论。惩罚强度的具体取值、以及它与模型规模、数据分布的关系，需要按论文给出的设置来理解。
第五，ORPO 属于训练与对齐环节的方法，涉及数据配比、训练稳定性与算力预算等工程条件；它不改变模型推理阶段的行为接口，也不解决对齐之外的能力问题。