字节 Seed 提出 Recycler:通过隐藏状态回收实现无额外成本的潜在推理
💡 灵机 AI 深度洞见与核心提炼
字节 Seed 提出 Recycler 架构,把上一 token 的顶层隐藏状态经轻量适配器与当前 token 嵌入一起送入下一步,在解码开销几乎不变的情况下保留跨步连续语义。该架构覆盖预训练、SFT、继续预训练与 RL 全流程,在数学和推理任务上参数效率突出,后期引入仍可超越参数量多 2–3 倍的模型。
信源媒体:字节 Seed:Research Papers(网页内嵌数据)
访问出处网页 ↗