论文 信源:Epoch AI:研究、数据与评测 · 👁️ 35605 次研读

Epoch AI 发布 SimpleQA Verified 评测:改用简单正确率并加入反弃答提示词

Epoch AI 发布 SimpleQA Verified 评测:改用简单正确率并加入反弃答提示词
💡 灵机 AI 深度洞见与核心提炼
Epoch AI 自行运行 SimpleQA Verified 基准,改用答对题目占比这一简单指标,而非 Google 的 F1 调和平均算法。评测与 Generality Labs 合作加入反弃答提示词,在 12 个模型、1000 道题上测试九种候选措辞,重评后模型拒答率从平均 15% 降至 1% 以下。Epoch AI 怀疑 Qwen3-Max-Instruct 在该数据集上存在污染。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗