论文 信源:X:UCSD Hao AI Lab (@haoailab) · 👁️ 30246 次研读

JetSpec++ 投机解码提速最高 7.45 倍

💡 灵机 AI 深度洞见与核心提炼
UCSD Hao AI Lab 推出 JetSpec++,用因果并行草稿、隐状态预测器和锚点 token 解码器,在当前块验证前先草拟下一块,把草稿与验证流水线化,几乎隐藏全部草稿开销。
信源媒体:X:UCSD Hao AI Lab (@haoailab)
访问出处网页 ↗
阅读原文出处 ↗