Epoch AI 如何评测 GPQA Diamond

GPQA Diamond 是 GPQA 中质量更高、更难的子集，共 198 道生物、物理、化学多选题，由领域专家编写，四选一的随机猜测基线为 25%。OpenAI 曾招募博士级专家作答该子集，得分 69.7%，用于与 o1 模型对比。Epoch AI 的评测即在该子集上运行。