Reflection 发布 501B 开源模型 Beam,Apache 2.0 许可
美国新实验室 Reflection 在 Hugging Face 发布首个开源模型 Beam:501B 参数稀疏 MoE,每 token 激活 23B,支持 1M 上下文,Apache 2.0 许可,主打编码与智能体场景,并提供 transformers、vLLM、SGLang 的 Day-0 支持。
Reflection 发布 501B 开源模型 Beam
据 Hugging Face 博客文章,美国新实验室 Reflection 发布了其首个模型 Beam,并已在 Hugging Face 上线。该模型为稀疏混合专家(MoE)架构,总参数 501B,每个 token 激活约 23B 参数,仅支持文本输入输出,上下文窗口为 1M token,采用 Apache 2.0 许可。官方称 Beam 面向编码与智能体(agentic)用例,适合希望在自己的硬件、基础设施或云上运行前沿规模模型并进行定制的团队。模型随附一套基于 Rust 的开源专用 harness。
架构与配套支持
文章给出的技术细节包括:52 层、隐藏维度 5,120,每个 MoE 层 256 个专家、每 token 路由 8 个;其中 43 层使用 512 token 滑动窗口注意力,9 层为全局注意力。检查点提供 BF16、FP8 和 NVFP4 三种格式,BF16 版本以 safetensors 格式存储约 1 TB。模型支持五档推理强度(low、medium、high、xhigh、max),并支持跨轮次保留推理内容与工具调用。Beam 在 transformers、SGLang 和 vLLM 中获得 Day-0 支持,并配套 SFT 与基于 Miles 的全参数强化学习方案。Reflection 还表示将向使用 Beam 的优秀项目提供 10,000 美元 Hub 额度。
限制与来源
上述参数、架构与基准数据均来自 Reflection 团队在 Hugging Face 博客中提供的信息,本站未做独立验证。硬件方面,文章称 NVFP4 检查点可将 BF16 的约 1 TB 权重压缩至约 280 GB,但需要 Blackwell 架构 GPU;较旧的 H200 等可使用 FP8 检查点。文章建议以四张 B200 部署以留出长上下文与并发请求空间。具体可用性、许可条款与部署要求请以 Hugging Face 模型页及 Reflection 官方当前信息为准。