信源:X:karminski (@karminski3) · 👁️ 30524 次研读

KV Cache 分层:PMem 与 400Gb RDMA 内存池之争

💡 灵机 AI 深度洞见与核心提炼
针对 Intel Optane PMem 作为 KV cache 分层介质的讨论,karminski 实测指出其写速度甚至打不过 SSD,CPU1 上 2 条 128G 还受 NUMA 影响。他认为现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度(传输时间不超过 Prefill 耗时的 10%),因此 400Gb RDMA 内存池更合适。
信源媒体:X:karminski (@karminski3)
访问出处网页 ↗
阅读原文出处 ↗