扩散智能发布350亿参数扩散语言模型Clover-35B-A3B-Preview

扩散智能发布350亿参数扩散语言模型

据量子位报道，扩散智能发布扩散语言模型 Clover-35B-A3B-Preview。该模型采用 MoE 架构，总参数 350 亿，每个 token 激活约 30 亿参数，支持思考模式。官方称其可用于写代码、生成网页、调用工具等 Agent 任务，用法与常见大语言模型相近。团队此前推出过 70 亿参数的 Dream 7B，此次将参数规模推进到 350 亿。

背景与影响

扩散语言模型与逐 token 串行生成的自回归模型不同，允许多个位置同时更新、经多轮去噪逐步确定结果。Clover 采用块扩散思路，并围绕块扩散重构门控 Delta 网络，将已生成上下文压缩进持续更新的状态，当前块内则通过双向注意力相互参考。按团队公布的数据，在网页 Agent 评测 WindTunnel 的 49 个任务、每任务尝试 3 次的设置下，Clover 中位执行时间为 1.52 秒，Jev 与 Mercury 2.5 组合为 3.21 秒；尝试成功率分别为 98.6% 和 95.9%。在 τ³ Overall 与 BFCL-v4 上分别为 65.3 和 67.9；SWE-bench Verified 为 73.6，Terminal-Bench 2.1 为 51.7。上述数字均来自团队公布，尚未获独立验证。

限制与来源

目前公开信息以官方演示与自测结果为主，模型的实际稳定性、长程任务表现及可用范围仍需更多第三方测试。团队表示后续将推出多模态版本，并推进端侧适配与推理优化、量化部署等工作，具体进度与开放方式以官方渠道当前信息为准。本文依据量子位报道整理，体验入口等信息请以官网为准。