英伟达解读全栈协同设计破解 AI 内存瓶颈，每美元智能体吞吐量最高提升 30 倍

英伟达 11 月 5 日发布技术解读，提出将 GPU、CPU、网络、存储和软件整体协同设计以缓解 HBM 供应趋紧带来的内存瓶颈。方案包括用 NVFP4 压缩权重和 KV 缓存、权重分散至最多 72 颗 GPU、Vera CPU 的 LPDDR 内存做就近缓冲、Dynamo 将不活跃上下文迁移至 CMX 存储。