论文 信源:Epoch AI:研究、数据与评测 · 👁️ 12026 次研读

Vending-Bench 2:AI 智能体模拟经营自动售货机一整年

Vending-Bench 2:AI 智能体模拟经营自动售货机一整年
💡 灵机 AI 深度洞见与核心提炼
Vending-Bench 2 榜单要求每个模型在模拟环境中经营自动售货机一整年,以年末美元余额为唯一评分指标,每模型取五次运行均值。相比初代,v2 加入对抗性供应商、延迟或失败配送、客户退款等现实混乱因素。Andon Labs 估计优秀人类策略年收入可达约 63,000 美元,而顶尖模型仅能捕获其中一小部分。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗