技巧 信源:vLLM 官方博客(RSS) · 👁️ 46501 次研读

vLLM 完成 CUDA 构建向 LibTorch Stable ABI 的迁移

vLLM 完成 CUDA 构建向 LibTorch Stable ABI 的迁移
💡 灵机 AI 深度洞见与核心提炼
vLLM 团队宣布其 CUDA 构建已迁移到 LibTorch Stable ABI,并从 v0.33.0 起发布 ABI Stable CUDA wheels,此后升级 PyTorch wheel 无需重建 vLLM。
信源媒体:vLLM 官方博客(RSS)
访问出处网页 ↗
阅读原文出处 ↗