百度开源文心 5.5 Flash Base：2800 亿参数 MoE，多项基准刷新同尺寸 SOTA
11 月 5 日，百度正式开源基座模型文心 5.5 Flash Base。它采用 MoE 架构，总参数 2800 亿、每个 Token 只激活 140 亿，在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸最优成绩。模型围绕长上下文效率，对注意力机制、专家路由和训练目标做了系统优化。
发布与规格
11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。
模型采用 MoE（混合专家）架构：总参数量 2800 亿，但每个 Token 只激活 140 亿参数。可以理解为模型内部有很多“专家”，每次处理一个词元时只调用其中一部分参与计算，在保留大模型容量的同时控制推理开销。
预训练使用了 33.5 万亿个 Token（模型处理文本的基本单位），预训练上下文长度最高 128K；在微调和推理阶段，支持最长 100 万 Token 的上下文。
在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，文心 5.5 Flash Base 取得同尺寸模型中的最优水平（SOTA，State of the Art），成绩超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。
效率是设计主线
随着大模型应用从文本问答延伸到长文档分析、多轮交互和智能体任务，模型需要处理的信息量持续增加，计算和显存开销也随之上升。文心 5.5 Flash Base 把“效率”作为设计主线，在注意力机制、专家路由和训练机制等关键环节做了系统优化。
注意力机制：降低长上下文开销
文心提出 Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力和虚拟头注意力（Virtual Head Attention，VHA）结合起来。具体来说，模型把 HCA 与 MLA 搭配使用，让不同注意力层分工：有的负责压缩历史信息，有的负责细粒度访问历史位置；低秩门控注意力则借助已有的低维表示计算信息门控，使门控投影权重参数减少 75%；虚拟头注意力用于增强模型表达力和训练质量，推理时会融合进注意力算子，额外开销很小。这样既降低长上下文处理的资源开销，又保留模型处理关键信息的能力。
专家路由：多路由器共同选择
在专家路由上，模型采用 Multi-Router Latent MoE，让多个独立路由器一起参与专家选择，使路由打分和专家实际发挥的作用更匹配。传统方案只依赖一个路由器，容易受单一评分偏差影响；新设计在不改变激活专家数量、专家计算量和通信量的前提下，降低这种偏差对专家选择的影响。
训练目标：ECHO 提前规划序列
训练目标上，模型引入 ECHO，不额外增加 MTP 模块（Multi-Token Prediction），而是复用主干最后一层，让主干自己学习预测后续 token，相当于提前规划序列走向，从而提升推理与代码能力。文心 5.5 Flash 只采用单步 ECHO 预训练，复用的最后一层还能作为投机解码的草稿模型，表现出多步外推能力：在同样只训练一步的情况下，多步起草质量明显优于辅助 MTP 模块。
训练基建：优化通信与显存
模型架构之外，底层训练基础设施也很关键。文心优化了分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用和计算效率。模型能力能否提升，不只取决于算法设计，也取决于训练系统能否高效支撑这些设计。
开放基座模型的价值
基座模型既承载预训练阶段形成的通用能力，也是下游模型开发和应用创新的重要基础。它和直接面向用户的应用模型不同，Base 模型给开发者和企业留出继续微调和定制的空间，可以按业务需求做出适配不同场景的专业模型和应用。开放基座模型能给开发者更多技术选择，也能降低专业模型开发的训练成本和技术门槛。
行业进入协同竞争阶段
眼下，大模型竞争正在进入模型能力、训练效率和场景创新一起发力的新阶段。推理、Agent 等技术和应用加快演进，行业对基座模型的要求也不只是“能力更强”，还希望训练范式更高效、能力拓展更灵活、场景适配更广泛。文心 5.5 Flash Base 在提升基础能力和训练推理效率的同时，也给开发者和社区提供了更容易扩展的技术底座，推动模型技术走向更多样的能力探索和应用创新。
本文由百度提供，量子位获授权转载，观点归原作者所有。