论文 信源:Epoch AI:研究、数据与评测 · 👁️ 23064 次研读

Aider Polyglot 编程基准测试说明

Aider Polyglot 编程基准测试说明
💡 灵机 AI 深度洞见与核心提炼
Aider Polyglot 基准通过 225 道 Exercism 高难度题目,评测模型在 C++、Go、Java、JavaScript、Python 和 Rust 上的编程能力。模型每题有两次尝试机会,首次失败后会看到单元测试结果再修正代码,主要指标为第二次尝试后的通过率。该基准还报告编辑格式、编辑格式准确率和跑完全部 225 题的成本。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗