Meta 介绍在俄亥俄州 Prometheus 超级集群上训练 Muse 基础模型的工程细节

Meta 介绍其 Muse 基础模型（含 Muse Wonder）在俄亥俄州 New Albany 的吉瓦级超级集群 Prometheus 上的训练情况。该集群拥有数十万 GPU，预训练 goodput 达 85% 以上，强化学习达 90% 以上，Muse Wonder 训练期间平均约 47K GPU 小时才发生一次中断，并附技术介绍链接。