百度开源文心5.5 Flash Base，称多项基准刷新同尺寸模型SOTA

百度开源文心5.5 Flash Base

据量子位转载的百度提供内容，11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，预训练使用33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。开源地址为 Hugging Face 上的 baidu/ERNIE-5.5-Flash-Base。

背景与设计思路

素材称，该模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现，并称超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。围绕“效率”主线，模型在注意力机制上提出 Latent-Gated Sparse Attention，组合HCA与MLA，并称低秩门控注意力使门控投影权重参数减少75%；专家路由采用 Multi-Router Latent MoE；训练目标引入 ECHO，复用主干最后一层，无需额外增加MTP模块。基建方面，百度称优化了分布式Muon优化器，并推出面向大head dim的注意力算子 FlashMask-4。Base模型面向开发者与企业，提供进一步微调与定制的空间。

限制与来源

上述参数、基准排名与效率提升幅度均来自百度提供的稿件，尚未获独立第三方验证；素材未披露许可证条款、定价、地区可用性与具体评测分数，实际能力与使用条件请以官网及模型页面当前信息为准。本文来源为量子位（www.qbitai.com），原文注明由百度提供、量子位获授权转载，观点归原作者所有。