vLLM 终于支持 DSpark 与流水线并行
💡 灵机 AI 深度洞见与核心提炼
vLLM 现已支持 DSpark 推测解码与流水线并行(Pipeline Parallelism)协同工作。此前因权重无法单机容纳而需使用流水线并行的用户无法利用 DSpark,该功能由 yongqinwang-cmd 与 Inferact 实现,Kimi K3 的 2.8T 参数规模推动了这一更新。
信源媒体:X:SemiAnalysis (@SemiAnalysis_)
访问出处网页 ↗