产品 信源:X:Cohere(@cohere) · 👁️ 24422 次研读

Cohere 发布基于 decode megakernel 的开源 LLM 推理服务系统

💡 灵机 AI 深度洞见与核心提炼
Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统,性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造,完全开源。
信源媒体:X:Cohere(@cohere)
访问出处网页 ↗
阅读原文出处 ↗