产品 信源:IT之家·人工智能 · 👁️ 24395 次研读

英伟达优化 Kimi K3 推理速度,GB300 NVL72 上提升 1.68 倍

💡 灵机 AI 深度洞见与核心提炼
英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。
信源媒体:IT之家·人工智能
访问出处网页 ↗
阅读原文出处 ↗