Amazon 论文提出 FEB-30 基准:仅靠 QA 分数无法评估智能体记忆系统
💡 灵机 AI 深度洞见与核心提炼
Amazon 论文提出 FEB-30 基准,用 30 条脚本化事实轨迹生成 147 篇文档,在每步已知正确记忆状态的前提下直接对比存储事实与 QA 分数。在类 Mem0 和 Hindsight 的记忆系统上,两种评估平均相差 16.8 分,21% 的事实轨迹通过/失败判定不一致,系统选对更新、强化等记忆操作的比例仅 20.1%,而 QA 评估无法发现这一点。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗