产品 信源:X:Rohan Paul (@rohanpaul_ai) · 👁️ 39760 次研读

EAGLE-4 投机解码提速实测

💡 灵机 AI 深度洞见与核心提炼
EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s,为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环,改进集中在草稿侧:自适应草稿结构和更廉价的草稿 LM head,由小模型预猜多个 token、目标模型一次前向校验,输出结果不变,测试环境约快 3 倍。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗
阅读原文出处 ↗