Accio 开源 CommerceAgentBench 评测基准
💡 灵机 AI 深度洞见与核心提炼
Accio 已开源 CommerceAgentBench，这是一个包含 107 个任务的评测基准，涵盖采购、商品上架、运营、订单履约和售后。
该基准根据智能体在模拟电商技术栈中留下的变更来对得分进行排名，例如应用的标签、保存的草稿、发布的商品以及返回的运单号。
该公司在三个测试框架上测试了十三个不同的模型家族。
最高得分仅为 61.7% 👀
信源媒体：X：Testing Catalog (@testingcatalog)
访问出处网页 ↗