信源:X:Rohan Paul (@rohanpaul_ai) · 👁️ 50267 次研读

CMU与牛津:循环流让小模型靠隐状态迭代推理

💡 灵机 AI 深度洞见与核心提炼
卡内基梅隆大学与牛津大学论文提出"循环流"(looped flows)方法,让模型通过反复改进隐状态而非生成更长的思维链来"思考更久",额外迭代步数可显著提升准确率,小模型也能借此获得更强推理能力,意味着测试时计算不必等同于生成更多 token。该方法通过让每次更新学习一个小型去噪任务、同时保证隐状态对下一次更新仍有用,解决了循环模型长循环训练不稳定的问题。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗
阅读原文出处 ↗