模型 信源:The Decoder:AI News(RSS) · 👁️ 13278 次研读

百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构

百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构
💡 灵机 AI 深度洞见与核心提炼
百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。
信源媒体:The Decoder:AI News(RSS)
访问出处网页 ↗
阅读原文出处 ↗