信源:X:SemiAnalysis (@SemiAnalysis_) · 👁️ 41832 次研读

GB300 NVL72 智能体推理性价比超 Hopper 13 倍

💡 灵机 AI 深度洞见与核心提炼
警报🚨 GB300 NVL72 的 NVLINK 背板在智能体推理上实现比 Hopper 高 13 倍的每美元性能 通过极致的协同设计,GB300 NVL72 采用创新的铜背板,将 scale-up 域扩展到 72,而 Hopper 仅为 8。这使得诸如 @vllm_project 的宽专家并行等优化成为可能,让每块 GPU 只需承载一部分专家。
信源媒体:X:SemiAnalysis (@SemiAnalysis_)
访问出处网页 ↗
阅读原文出处 ↗