推理卡时是训练的12倍,decode 阶段一块卡只跑出5%算力:YC Paper Club 聊 DeepSeek 推理成本
💡 灵机 AI 深度洞见与核心提炼
Saito 归纳 YC Paper Club 播客中四位推理从业者的讨论:DeepSeek 训练 V3 用了280万个 H800 卡时,推理每天烧4.3万个卡时,按两年模型寿命摊是训练的12倍,decode 阶段 MFU 仅5%,瓶颈在显存带宽而非算力。
信源媒体:X:Saito 硬地骇客 (@SaitoWu)
访问出处网页 ↗