百度开源文心 5.5 Flash Base：2800 亿参数 MoE，多项基准刷新同尺寸 SOTA
11 月 5 日，百度正式开源基座模型文心 5.5 Flash Base。它采用 MoE 架构，总参数 2800 亿、每个 Token 只激活 140 亿，在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸最优成绩。模型围绕长上下文效率，对注意力机制、专家路由和训练目标做了系统优化。 ## 发布与规格 11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。 模型采用 MoE（混合专家）架构：总参数量 2800 亿，但每个 Token 只激活 140 亿参数。可以理解为模型内部有很多“专家”，每次处理一个词元时只调用其