Sakana AI 发布 LLM 同行评审系统，核心论断错误检出率达 73.43%
Sakana AI 公布 TMLR 论文《Beyond Imitation》，提出以错误检测为评价标准的 LLM 辅助同行评审方案，包含 Contradiction Benchmark 与 Multi-Layered Review 系统。据论文数据，MLR 在 4 次评审下检出 73.43% 的核心论断矛盾，但真实撤稿论文上的精确匹配率仅 16.11%。
Sakana AI 发布以错误检测为核心的 LLM 同行评审研究
Sakana AI 公布了一篇发表于 TMLR 的研究论文《Beyond Imitation》，主题是 LLM 辅助的同行评审，评价标准从「是否模仿人类评审」转向「能否发现被植入的错误」。据该论文，研究团队同时发布了两项成果：Contradiction Benchmark（矛盾基准）与 Multi-Layered Review（MLR，多层评审）系统。
据论文数据，MLR 在 4 次评审条件下检出 73.43% 的核心论断（distance 0）矛盾，而表现最好的基线系统 AgentReview 为 14.81%。MLR 单次评审的检出率为 60.79%。系统基于现成 API 模型运行，无需 GPU 与微调，论文给出的单次评审成本约为 0.47 美元。
基准构建方式与实测表现
Contradiction Benchmark 从 ACL、AISTATS、CVPR、ICML 2025 及 NeurIPS 2024 收集了 257 篇 CC 授权论文，由 Gemini 2.5 Pro 构建论断、证据与方法的知识图谱，再按节点与「主论断」的距离定义严重程度，由 GPT-4.1 改写节点生成矛盾，共得到 1,164 个数据点。评审结果由 o3 裁判重复打分 10 次，在干净论文上准确率为 99.9%。
MLR 由 3 个智能体组成：Appendix Agent（Claude Haiku 3.5）总结附录中的实验与实现细节；可选的 Literature Review Agent（Claude Sonnet 4）借助网络搜索定位先前工作；Review Agent（Claude Sonnet 4）执行三遍提示链，最终输出优点、缺点、问题、建议、评分与待办清单。PDF 直接传入，以保留图表与公式。
论文也报告了局限：在 WithdrarXiv-Check 的 211 篇真实撤稿论文上，MLR 的「相似」匹配率为 26.07%，「精确」匹配率仅 16.11%；与人类评分的相关性方面，在 ICLR 2025 上皮尔逊相关系数为 0.586，人类评审之间的参考值为 0.742。此外，论文称隐藏的提示注入仍能影响所测试的每一个 AI 评审系统。
限制与来源
上述基准、相关性、token 与成本数字均来自《Beyond Imitation》论文，尚未见独立第三方复现。论文中提及的模型版本、价格与可用性可能变化，请以各服务商官网当前信息为准。本文不构成任何投资或采购建议。
来源：MarkTechPost 报道，原文链接 marktechpost.com。