信源:X:DAIR.AI (@dair_ai) · 👁️ 29624 次研读

Google Research 发布 Fuse:评估 LLM 社交推理

💡 灵机 AI 深度洞见与核心提炼
Google Research 提出 Fuse 框架,用模拟构建社交推理的 ground truth:带隐藏动机的目标智能体与其他智能体(含扮演用户的智能体)互动,助手需从用户转述中推断动机。团队用 24k 条人工标注验证模拟,测试了 12 个 LLM,发现用户带偏见的叙述会改变助手答案,更长的对话并未可靠提升表现。框架与 21k 条样本已开源。
信源媒体:X:DAIR.AI (@dair_ai)
访问出处网页 ↗
阅读原文出处 ↗