AB
AB
AiBoss站

全部分类

project

LLM-as-a-Verifier - 斯坦福联合英伟达等开源的通用验证框架

LLM-as-a-Verifier 是斯坦福、UC 伯克利与 NVIDIA 研究院联合开源的通用验证框架。框架无需额外训练，通过用 LLM 评分 Token 的完整 logits 分布生成连续细粒...

LLM-as-a-Verifier是什么

LLM-as-a-Verifier 是斯坦福、UC 伯克利与 NVIDIA 研究院联合开源的通用验证框架。框架无需额外训练，通过用 LLM 评分 Token 的完整 logits 分布生成连续细粒度分数，替代传统离散评分。框架支持在评分粒度、重复评估、准则分解三个维度扩展验证能力，可用于测试时候选筛选、Agent 进度跟踪和强化学习密集奖励。在 Terminal-Bench、SWE-Bench 等基准上达到 SOTA。

LLM-as-a-Verifier的主要功能

  • 细粒度验证评分：用评分 Token 的完整 logits 分布计算连续期望值，替代粗糙的离散打分，显著降低平局率。
  • 测试时 Best-of-N 选择：通过 Probabilistic Pivot Tournament 算法以线性成本从多条候选轨迹中筛选最优解，实现低成本自我验证。
  • 实时进度跟踪：对 Agent 执行的每一步输出细粒度分数，既可离线复盘完整轨迹，也可在线监测并提前终止无望任务。
  • 强化学习密集奖励：作为可插拔的密集奖励信号，提升离线/在线 RL 算法的样本效率。
  • 多模态输入支持：除文本外可直接处理图像和视频，统一验证 VLM Agent 与机器人视觉 rollout。
  • Claude Code 插件集成：通过 TurboAgent 代理自动并行生成多个回复并实时筛选最优，无需改动原有工作流。

LLM-as-a-Verifier的技术原理

  • 概率化细粒度评分：将传统离散评分改为利用评分 Token 的完整 logits 分布计算期望值。模型在 1–20 区间输出分数，提取各 Token 的 logprob 后加权求和并归一化到 [0,1]，从而保留模型的不确定性信息，避免单一离散值导致的高平局率与信息损失。
  • 三维验证扩展：验证可在粒度、重复、分解三个维度独立扩展：增加评分 Token 数量提升正负样本分离度；多次独立评估取平均降低方差；将评估拆分为 Specification、Error、Output 等子准则分别打分后聚合，减少提示偏见。三者组合可在控制预算下持续提升验证准确率。
  • 概率锚点锦标赛（PPT）：为将 Best-of-N 的排序成本从 O(N²) 降至 O(Nk)，算法先通过环状对比获得初始胜率，选出 top-k 锚点；随后非锚点仅与锚点对比，锚点间相互较量；最后基于 Bradley-Terry 模型聚合胜负关系排序，将预算集中在不确定的头部候选。
  • 偏好建模与多模态输出：连续奖励经 Bradley-Terry 模型转换为成对偏好概率，支撑可靠的候选比较。框架统一处理文本、图像、视频输入，并输出三类信号：测试时排序信号、时间对齐的进度跟踪信号，以及可直接用于 RL 训练的密集奖励信号，实现零样本通用验证。

微信关注回复“开源”，加入AI开源项目交流群

LLM-as-a-Verifier的核心优势

  • 零样本即用：无需额外训练、标注数据或专用奖励模型，开箱即可为任意 Agent 任务提供细粒度验证。
  • 细粒度连续评分：用评分 Token 的完整 logits 分布计算期望值，生成 [0,1] 连续分数，显著降低传统离散评分的高平局率。
  • 三维独立扩展：支持在评分粒度、重复评估、准则分解三个维度上系统性扩展验证能力，持续提升精度。
  • 低成本高效排序：Probabilistic Pivot Tournament 算法将 Best-of-N 的对比成本从 O(N²) 降至 O(Nk)，大幅节省验证开销。
  • 跨模态通用：原生支持文本、图像和视频输入，统一验证代码 Agent、VLM 和机器人 rollout。
  • 三位一体输出：同时提供测试时候选筛选、实时进度跟踪和强化学习密集奖励三种信号，覆盖 Agent 全生命周期。

LLM-as-a-Verifier的项目地址

  • 项目官网：https://llm-as-a-verifier.com/
  • GitHub仓库：https://github.com/llm-as-a-verifier/llm-as-a-verifier
  • arXiv技术论文：https://arxiv.org/pdf/2607.05391

LLM-as-a-Verifier的同类竞品对比

对比维度 LLM-as-a-Verifier 训练过的奖励模型 (Learned RM)
训练需求 零样本，无需训练或标注数据 需大量人工偏好数据训练，成本高
泛化能力 跨领域通用，开箱即用 受训练数据分布限制，跨域易失效
反馈粒度 细粒度连续值，支持多维度分解 通常为单一标量分数，粒度较粗
不确定性建模 利用完整 logits 分布，显式量化置信度 通常输出点估计，无不确定性信息
计算成本 验证阶段 O(Nk) 次 API 调用 推理时单次前向传播，但训练成本极高
可扩展性 支持粒度/重复/分解三维独立扩展 模型架构固定，扩展需重新训练
多模态支持 原生支持文本/图像/视频 需针对各模态单独训练
最佳适用 快速验证、进度跟踪、RL 密集奖励 大规模在线服务、已稳定的单一领域

LLM-as-a-Verifier的应用场景

  • 代码 Agent 验证：在 Terminal-Bench 和 SWE-Bench 等编程基准中，对多条代码生成轨迹进行 Best-of-N 筛选，以低成本选出可编译、可运行的最优方案。
  • 机器人任务评估：在 RoboRewardBench 等机器人基准中，对视觉-动作 rollout 进行细粒度打分，判断任务完成度与动作合理性，超越专用机器人奖励模型。
  • 医疗 Agent 审核：在 MedAgentBench 上验证医疗诊断或用药建议的准确性，确保 Agent 输出符合医学规范与安全标准。
  • 强化学习密集奖励：作为可插拔的密集奖励信号替代稀疏 0/1 奖励，接入 SAC 或 GRPO 等算法，显著提升机器人与数学推理任务的样本效率。
  • Agent 进度跟踪与早期终止：对 Agent 执行的每一步实时输出验证分数，绘制任务进展曲线，从而及时终止无望的 rollout 以节省计算成本。
返回