产品 信源:X:蚂蚁百灵 (@AntLingAGI) · 👁️ 16201 次研读

SGLang-TorchTPU 发布,Ling 3.1 Flash 等开源模型入选首批支持阵容

💡 灵机 AI 深度洞见与核心提炼
SGLang 与 Google TPU 团队、Meta PyTorch 团队合作发布 SGLang-TorchTPU,这是 SGLang 的 TPU 插件,已在 Meta 生产推理中使用,代码开源于 github.com/sgl-project/sglang-torchtpu。它支持 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 等开源模型及大规模智能体工作负载,自定义 MegaKernel 让 Muse Spark Open 在 InferenceX 8K/1K、bs=1 下达到 770 tok/s 解码。蚂蚁百灵转发表示,Ling 3.1 Flash 和 Ling 3.0 家族入选发布阵容,PyTorch 原生 TPU 服务扩展了 MoE 推理的硬件选择。
信源媒体:X:蚂蚁百灵 (@AntLingAGI)
访问出处网页 ↗
阅读原文出处 ↗