论文 信源:Epoch AI:研究、数据与评测 · 👁️ 45417 次研读

ARC AI2 基准:AI2 中小学科学推理评测

ARC AI2 基准:AI2 中小学科学推理评测
💡 灵机 AI 深度洞见与核心提炼
AI2 ARC 基准由中小学科学题构成,要求模型结合事实知识、常识与多跳推理作答,题目虽短且人类易识别,但刻意设计使浅层线索不足以选出正确选项。该基准常用于衡量受限上下文下的科学理解能力,报告结果通常汇总 Easy 与 Challenge 两个分片,其中 Challenge 部分侧重非平凡推理并抵抗标注伪影。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗