论文 信源:X:AK (@_akhaliq) · 👁️ 36833 次研读

HarnessDev 基准研究 LLM 能否自建并迭代进化 Agent harness

💡 灵机 AI 深度洞见与核心提炼
HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。
信源媒体:X:AK (@_akhaliq)
访问出处网页 ↗
阅读原文出处 ↗