论文 信源:Epoch AI:研究、数据与评测 · 👁️ 45279 次研读

Epoch AI 推出 MirrorCode 基准:测试 AI 智能体重写 CLI 程序的能力

Epoch AI 推出 MirrorCode 基准:测试 AI 智能体重写 CLI 程序的能力
💡 灵机 AI 深度洞见与核心提炼
Epoch AI 发布 MirrorCode 基准,测试 AI 智能体在无源码、无网络条件下仅凭黑盒执行和文档重写命令行程序的能力。基准包含 25 个目标程序、6 种实现语言共 132 个任务实例,每个程序有数百到数千个端到端测试用例,平均保留 34% 隐藏测试以防查表作弊,需 100% 通过才算解决。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗