论文 信源:X:UCSD Hao AI Lab (@haoailab) · 👁️ 12865 次研读

JetSpec++ 并行草稿自我修正机制

💡 灵机 AI 深度洞见与核心提炼
[3/5] 等待验证结果的剩余空闲时间,现在全部用于打磨更好的草稿。在目标模型验证期间,JetSpec++ 会修正自己的并行草稿:它依据自身猜测重新起草,刷新预测的上下文,并在由目标模型最后几层构建的解码器出现分歧的位置修正第一个 token。 在 7 个基准上,每轮平均接受 8.94 个 token,而 DSpark 为 6.89 个。
信源媒体:X:UCSD Hao AI Lab (@haoailab)
访问出处网页 ↗
阅读原文出处 ↗