Looped Flows:循环模型推理新训练法
💡 灵机 AI 深度洞见与核心提炼
新论文提出 Looped Flows,用局部去噪目标训练循环架构,让每次隐藏状态更新彼此关联,解决以往梯度只流经最后几步、早期更新学不到东西的问题。作者称该模型在 6 个推理基准中的 5 个上优于此前的循环模型。推理时模型沿概率流运行,更细的时间网格可换取更多算力,不同起始噪声在存在多解的任务上可产生不同有效答案。
信源媒体:X:Elvis Saravia (@omarsar0, DAIR.AI)
访问出处网页 ↗