什么是自我奖励语言模型（Self-Rewarding Language Models）？
自我奖励语言模型是 arXiv 论文《Self-Rewarding Language Models》提出的一种训练与对齐思路：让语言模型在训练过程中通过 LLM-as-a-Judge 提示为自己生成奖励信号，并在迭代 DPO 训练中同时提升指令遵循能力与自我评判能力。
自我奖励语言模型（Self-Rewarding Language Models）是一种训练与对齐方法：在训练过程中，语言模型本身通过「以模型为评判者」（LLM-as-a-Judge）的提示方式，为自己生成的回答打分，从而提供奖励信号，再据此进行偏好优化。该概念由论文《Self-Rewarding Language Models》提出，作者为 Weizhe Yuan、Richard Yuanzhe Pang、Kyunghyun Cho、Xian Li、Sainbayar Sukhbaatar、Jing Xu、Jason Weston，论文收录于 ICML 2024。它要解决的问题是：当奖励模型依赖人类偏好数据训练时，训练信号的上限会被人类表现水平所限制，而且独立的、冻结的奖励模型无法在语言模型训练过程中同步变强。
为什么重要
在自我奖励语言模型出现之前，主流的对齐做法是先收集人类偏好数据，用它训练一个奖励模型（reward model），再用这个奖励模型去优化语言模型。论文指出这一路线存在两个结构性限制。
第一是人类表现水平构成瓶颈。论文的出发点是：要实现超越人类的智能体，未来的模型需要超越人类的反馈，才能提供足够充分的训练信号。如果奖励模型只能从人类偏好中学习，那么它给出的信号质量上限大致被人类评判水平所约束。
第二是奖励模型与语言模型彼此分离且冻结。传统流程中，奖励模型训练完成后参数固定，在后续的语言模型训练中不再学习。这意味着语言模型能力提升时，评判它的那一方并不会随之提升，两者无法形成共同进步的循环。
自我奖励语言模型的提出，正是为了把「提供奖励」这件事也交给语言模型自身，使奖励能力与生成能力可以在同一训练过程中一起迭代。
工作机制
论文描述的核心做法可以拆成以下几个要点。
- 模型兼任评判者：语言模型不只负责生成回答，还被要求以 LLM-as-a-Judge 的提示形式，对自己的回答给出评价，这个评价被当作奖励信号使用。也就是说，奖励不再来自一个独立训练的奖励模型，而来自模型自身的评判输出。
- 迭代式 DPO 训练：论文在迭代的直接偏好优化（Direct Preference Optimization，DPO）训练框架下组织这一过程。每一轮中，模型生成回答并自我打分，形成偏好数据，再用于下一轮训练。
- 双轴同时提升：论文报告的结果是，在迭代 DPO 训练过程中，不仅指令遵循能力得到提升，模型为自己提供高质量奖励的能力也得到提升。这两个能力构成论文所说的两条轴。
- 可循环性：由于评判能力本身也在训练中改善，下一轮产生的奖励信号质量有望高于上一轮，从而形成持续迭代的闭环，而不是依赖一个固定不变的奖励源。
需要强调的是，上述机制与结论均出自该论文的表述，属于作者提出的主张与实验观察，并不等同于已被广泛验证的行业共识。
典型例子
论文给出的主要实验对象是 Llama 2 70B。作者在该模型上应用上述方法进行了三轮迭代微调，并将得到的模型与当时已有系统在 AlpacaEval 2.0 排行榜上进行比较。
论文称，经过三轮迭代后得到的模型在该排行榜上优于多个已有系统，其中包括 Claude 2、Gemini Pro 和 GPT-4 0613。这是论文用来支撑「自我奖励可以带来实际能力提升」这一论点的核心证据。
论文同时说明，这一方向仍有大量内容有待探索，其价值在于打开了「模型可以在两条轴上持续改进」的可能性。这一表述本身是作者对工作意义的定位，而非对方法成熟度的断言。
边界与常见误解
它不是「模型完全不需要人类数据」。论文讨论的是训练过程中的奖励来源问题，即用模型自身的评判替代独立奖励模型提供的信号；这并不等于整个训练流程与人类标注毫无关系，也不意味着可以无条件地去掉所有人工环节。
它不是「模型自己说自己好就是好」的随意自评。论文中的自我奖励依托于特定的 LLM-as-a-Judge 提示形式，并嵌入迭代 DPO 的训练流程，是一个有结构、有轮次的训练程序，而非单次的自评输出。
已知代价与风险。让模型为自己的输出打分，天然存在评判与生成同源的问题：评判者与被评判者共享参数与偏好，可能出现自我偏袒或评分漂移。论文的应对思路是让评判能力随训练一起提升，但论文本身也承认仍有大量问题待探索，并未宣称这一风险已被彻底解决。
结果的范围。论文报告的对比结果是在特定基准（AlpacaEval 2.0）与特定基座模型（Llama 2 70B）上取得的，属于该论文实验条件下的观察，不宜直接外推为在所有任务、所有模型规模上都成立的一般结论。
容易被误解成「自我进化」的通用能力。论文讨论的是指令遵循与自我奖励两条轴上的迭代改进，并不主张模型可以无限制地自主提升任意能力。