Perplexity 与 NVIDIA 提出 JOLT：让教师模型也参与训练
Perplexity 与 NVIDIA 研究人员提出 JOLT 后训练方法，让同一个模型同时扮演教师与学生两种角色，且教师本身也参与训练。据论文数据，在 MATH 任务上达到与 GRPO 相当准确率时，处理训练 token 量约为后者的六分之一。代码尚未发布。
核心事实
据 MarkTechPost 报道，Perplexity 与 NVIDIA 的研究人员提出了一种名为 JOLT（Joint On-policy Learning and Teaching，联合在策略学习与教学）的语言模型后训练方法。该方法让同一个模型同时承担教师与学生两种角色：教师可看到特权信息（如已验证答案或参考解法），学生只能看到任务本身。与既有做法不同的是，JOLT 中的教师同样接受训练，以保持其反馈对学生可用。据报该方法在 On-Policy Self-Distillation（OPSD）基础上发展而来。
背景与影响
研究团队指出，GRPO 等结果奖励强化学习每次尝试只给出一个奖励信号，在长程智能体任务上较为稀疏；而 OPSD 虽去掉了独立教师模型，但持有答案的教师可能给出学生无法跟随的指导。JOLT 让教师从结果奖励加 KL 约束中学习，学生则从教师给出的 token 级蒸馏信号中学习。据论文数据，在 MATH 任务上，JOLT 以约 6.5 倍更少的已处理训练 token 达到与 GRPO 相当的准确率；加入学生自身结果奖励的 JOLT+ 在报道所列各测试设置中平均分最高，其中 AppWorld 状态测试通过率为 72.09%，GRPO 为 62.20%。测试覆盖 Qwen3 系列多个规模及 DeepSeek-V2-Lite。
限制与来源
上述数字均来自研究团队自行运行的实验，尚未获独立复现或官方确认；训练所用硬件未披露。报道同时提到，不含学生奖励的普通 JOLT 在 AppWorld 与 Terminal-Bench 上仍落后于 GRPO。代码尚未发布。本文信息源自 MarkTechPost 的报道，具体细节请以论文与 Perplexity 研究博客的当前信息为准。