论文 信源:X:Rohan Paul (@rohanpaul_ai) · 👁️ 30107 次研读

NVIDIA 论文提出在首个让测试通过的编辑处评估 base 模型,预测编码智能体后训练表现

💡 灵机 AI 深度洞见与核心提炼
NVIDIA 论文提出,相比逐步打分,只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试,检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964,且只需基准的成功轨迹和测试即可运行。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗
阅读原文出处 ↗