Hugging Face 发布 Qwen3.8-27B 专用 LoRA 适配器,SWE-bench Pro 成绩升至 64.7%
Hugging Face 的 harness-hub 团队发布 Qwen3.8-27B-pi-adapted,一款面向 pi 编码代理的 LoRA 适配器,采用强化学习训练、Apache-2.0 许可。据其模型卡自报,关闭思考模式下 SWE-bench Pro(hard 51)从 39.2% 升至 64.7%,Terminal-Bench 2.1 从 39.5% 升至 55.8%。
核心事实
据 MarkTechPost 报道,Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,这是一个面向 pi 编码代理的 PEFT LoRA 适配器,仅适用于 Qwen3.8-27B 基座模型,采用 Apache-2.0 许可。适配器为 rank 32(alpha 64),作用于 q、k、v、o、gate、up、down 投影;合并后的 BF16 检查点约 54 GB。训练使用 AsyncGRPO(来自 TRL),每任务 8 次 rollout,温度 0.8,硬件为 2 块 NVIDIA B200。
据模型卡自报数据,在 pi 中关闭思考模式、每任务一次尝试的条件下,SWE-bench Pro(hard 51)从基座的 39.2% 升至 64.7%,Terminal-Bench 2.1(86 项任务)从 39.5% 升至 55.8%。在两者均解出的任务上,SWE-bench Pro 的中位轮次由 59 降至 23,Terminal-Bench 2.1 由 18 降至 8;适配器生成的 token 数约为开启思考的基座的 1/4.5。
背景与影响
该做法源自 Hugging Face 11 月 6 日关于 harness adapters 的文章,思路是「每个模型与每个 harness 配一个 LoRA 适配器」,在未经修改的 harness 内、以可验证任务进行训练。由于多个适配器共享同一基座模型,单个服务端可同时托管面向 pi 与 OpenCode 的适配器。部署路径包括启用 LoRA 的 vLLM、在 Q8_0 基座上加载 GGUF 适配器的 llama.cpp、macOS 上的 Llama.app,以及用 PEFT 在 CPU 上合并后直接服务。具体支持情况与显存需求以官方模型卡和官网当前信息为准。
限制与来源
上述成绩均为自报,评测集规模较小,且仅在 pi harness 下测得,未获第三方独立确认。开启思考模式时,基座模型在 SWE-bench Pro 上已达 64.7%、Terminal-Bench 2.1 为 54.2%,即适配器的主要收益在于以更少 token 达到相近准确率。OpenCode 适配器的数字来自不同 harness,不可直接比较。训练计划 1000 步,实际在第 191 步停止,检查点为第 160 步。本文信息来自 MarkTechPost 报道及其引用的模型卡,使用前请以官方发布页面为准。