Epoch AI 如何评测 SimpleBench：213 道题、每题跑 5 次

Epoch AI 直接从 SimpleBench 官网获取评测结果，该基准用 213 道六选一多选题考察模型，每题运行 5 次取平均准确率，通常采用 temperature 0.7 和 top-p 0.95。o 系列模型因无法控制 temperature，改用去掉链式推理指令的提示词。9 名参与者的人类评测暂定基线为 83.7%。