产品 信源:IBM Research:AI · 👁️ 33302 次研读

llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
💡 灵机 AI 深度洞见与核心提炼
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。
信源媒体:IBM Research:AI
访问出处网页 ↗
阅读原文出处 ↗