斯坦福研究质疑 AI 基准测试是否真的测到了它宣称的能力

斯坦福 Koyejo 与 Sang Truong 团队将在 10 月旧金山 COLM 上发表两项研究，用测量科学与心理测量学方法检验 56 个广泛使用的 AI 基准，发现基准并不总是测到其宣称的能力，宣称测同一属性的基准之间也常互相矛盾。