信源:IT之家(RSS) · 👁️ 12362 次研读

Astera Labs 推出 Leo X 智能内存控制器:将 KV Cache 从加速器卸载到外部内存

💡 灵机 AI 深度洞见与核心提炼
Astera Labs 宣布扩充 Leo 智能内存控制器产品线,新增 Leo X、Leo 2 E、Leo 2 P 三系列。Leo X 基于网络架构,可将 KV Cache 和智能体上下文从 GPU 卸载到专用内存层,官方称首词元延迟最多缩短 62%、词元吞吐量最多提升 22%。
信源媒体:IT之家(RSS)
访问出处网页 ↗
阅读原文出处 ↗