蚂蚁百灵优化 Ling-3.0-flash 推理

我们与 @NVIDIAAI 团队技术合作，在单台 NVIDIA DGX Spark 上使用三项技术优化了开放权重模型 Ling-3.0-flash 的推理。 在 1,319 道 GSM8K 题目上，解码吞吐量提升 42.5%——从 37.81 提升至 53.89 tok/s——平均延迟下降 24.5%，从 15.21s 降至 11.49s，且未检测到统计学上可察觉的准确率变化。🧵