微软 Phi-3.5-MoE 模型概览

微软于 2024 年 8 月 17 日发布开放权重模型 Phi-3.5-MoE，参数量 6.1e10，训练算力 3.0e23 FLOP，使用 NVIDIA H100 SXM5 80GB 训练 23 天。