RLT:跨 token 循环的 Transformer 架构设计提案
💡 灵机 AI 深度洞见与核心提炼
一份新技术报告提出 Recurrent Looped Transformer(RLT),让解码器对每个 token(含 prompt 与回复)循环复用,因果编码器构建全局 KV 记忆。48 层解码器下,t 个 token 的计算路径经过 48t 个解码块,深度随序列增长而单 token 成本不变。该报告仅为设计提案,作者称推理增益、硬件加速与 RL 扩展尚未实测。
信源媒体:X:Elvis Saravia (@omarsar0, DAIR.AI)
访问出处网页 ↗