模型 信源:X:百度 Baidu (@Baidu_Inc) · 👁️ 30315 次研读

百度开源 ERNIE 5.5 Flash Base 基座模型:280B 总参数、14B 激活

💡 灵机 AI 深度洞见与核心提炼
百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座语言模型并开放权重。模型总参数 280B、每 token 激活 14B,预训练 33.5T tokens,微调和推理上下文最长 1M-token,提供 FP8 与 BF16 权重。官方称其在同规模基座模型中于多个基准取得 SOTA,权重直接来自预训练、未做中后期训练,方便研究者在同一 checkpoint 上比较不同方法的效果。
信源媒体:X:百度 Baidu (@Baidu_Inc)
访问出处网页 ↗
阅读原文出处 ↗