研究：编码智能体的花哨框架更贵，但并未更强

核心事实

据 the-decoder.com 报道，山东大学两位研究者刘与韩（Liu & Han）在固定模型的前提下，比较了 Claude Code、OpenCode 和 mini-SWE-agent 三种编码智能体框架（harness）。论文标题给出的结论是《What does a harness buy? Mostly tokens》。在 447 个任务的较大任务池上，最重的 Claude Code 与最轻的 mini-SWE-agent 成绩差距不到两个百分点，处于统计等价区间；三种框架的 token 消耗可达最精简方案的两到三倍，通过率却仍在测量误差内。唯一统计显著的是 OpenCode 在较大任务池上的落后，最多差九个百分点，其中约一半可追溯到输出长度上限的处理方式。

背景与影响

作者指出，此前不少对比报告框架间差距超过 20 分，但多来自单次运行；同一配置单纯重跑，在 SWE-bench Verified 上就可能有最多六分的波动。任务层面的结果翻转率也相近：两次重跑之间中位变化为 13%，换框架同样是 13%，而换模型则升至 22%。成本差异主要来自系统提示与工具描述——Claude Code 约 16,600 token，OpenCode 约 7,000，mini-SWE-agent 不足 1,000，且这些内容每一步都会重发。作者建议每次框架对比都附上同配置重跑结果，以区分真实差异与噪声。

限制与来源

研究主要依赖单一基准，仅在 Terminal-Bench 2.1 上做了小规模交叉验证；闭源的 Opus 5 只在 Claude Code 中作为参照运行；测试网格偏小，作者自认无法解释部分现象。早期联网测试中，Deepseek 与 Qwen 模型有 71% 的尝试直接从 GitHub 取回修复，研究者因此切断了后续所有运行的网络访问，并称不主张任何厂商用测试数据训练过模型。相关数据与分析脚本已在 GitHub 公布。上述结论来自该论文，尚未获独立复现确认。