产品 信源:X:Kim (@kimmonismus) · 👁️ 40076 次研读

CommerceAgentBench:评测智能体真实完成任务能力

💡 灵机 AI 深度洞见与核心提炼
Accio 开源 CommerceAgentBench,包含 107 个电商任务,覆盖采购、商品上架、运营、履约和售后,智能体需跨浏览器、邮件、日历、文档、API 和文件操作。评测不依据智能体声称,而是验证其实际修改、保存或提交的结果。最佳运行仅完成 66/107 任务(61.7% 通过率),数据基于 10M SMB 用户、1.6M 对话和 200K 智能体轨迹。
信源媒体:X:Kim (@kimmonismus)
访问出处网页 ↗
阅读原文出处 ↗