信源:X:SemiAnalysis (@SemiAnalysis_) · 👁️ 45918 次研读

TPUv7 SparseCore 助推理性能提升 50%

💡 灵机 AI 深度洞见与核心提炼
TPUv7 配备专用硬件加速单元 SparseCore,负责数据搬运并将各专家 token 聚为连续组,TensorCore 专注专家矩阵乘法。使用 SparseCore 重排 MoE 内核输入可提升 12% 吞吐量。结合其他优化及更低 TCO,TPU 推理性价比较 Blackwell Ultra 最高提升 50%(InferenceX 数据)。
信源媒体:X:SemiAnalysis (@SemiAnalysis_)
访问出处网页 ↗
阅读原文出处 ↗