NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐

💡 灵机 AI 深度洞见与核心提炼
NVIDIA 用机密计算(CC)在 Blackwell GPU 上跑 TensorRT LLM 生产级推理,CC 开启后仍保留 CC 关闭基线 96.1%-98.2% 的输出 token 吞吐,平均 TPOT 开销仅 1.2%-4.3%。
信源媒体:NVIDIA Technical Blog:Agentic AI / Generative AI
访问出处网页 ↗