Sakana AI 自改进模型：解题与评判变强，却难察觉自身盲区

核心事实

Sakana AI 与加州大学伯克利分校的研究人员提出「多智能体自监督」（Multi-Agent Self-Supervision，MASS），用于递归自我改进。据该论文，单一语言模型同时承担三个角色：解题、优化工作流程、评估结果，无需外部帮助或更强的教师模型。工作流程以文本形式附加在提示词中，定义各子智能体的角色与指令；「契约」规定子智能体必须返回的信息与必须执行的检查，「跳」规定调用顺序，由编排器分配任务。内循环中模型权重冻结，评估器将结果与当前「冠军」比较，优化器据此提出下一版工作流程；外循环中冠军方案每项任务运行 18 次，模型自行排序并最多选取 15 次运行用于训练。

背景与影响

研究使用 Qwen3.6-27B 作为基座模型、Qwen Code 作为运行框架，任务为 GPT-5.5 生成的十二项研究任务，覆盖金融、机器人与制药，其中九项用于训练、三项用于测试，仅八项产出训练数据。据报在测试任务上，对基座模型的胜率从一轮后的 53.9% 升至两轮后的 69.9%；在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，每输出 token 得分为基座模型的 1.2 至 1.6 倍，但原始分数提升有时很小，DSBench 仅从 0.473 升至 0.482，而在 Terminal-Bench 2.0 与 SWE-bench Verified 上分数略有下降。论文附录显示，MLR-Bench 完成提交数从 31 升至 50（共 60），平均评分却从 3.07 降至 2.88；逐任务比较时，提升不再具有统计显著性。作者将共享盲区视为递归自我改进潜在的「阿喀琉斯之踵」：若模型在三个角色中漏掉同一错误，该错误可能被当作改进固化进下一版模型，因此呼吁引入独立检查、限制自主性并明确干预条件。代码已公开。

限制与来源

上述数据均来自该论文与 The Decoder 的报道，尚未获独立复现确认。研究样本量较小，部分结论基于八到九项任务或十对输出；委派工具在全部 180 次运行中未被使用，团队协作是否解释增益尚不明确。模型、任务与基准的可用性、许可及后续更新请以官方渠道当前信息为准。