论文 信源:Epoch AI:研究、数据与评测 · 👁️ 30441 次研读

腾讯混元与复旦推出 CL-bench:评测大模型的上下文学习能力

腾讯混元与复旦推出 CL-bench:评测大模型的上下文学习能力
💡 灵机 AI 深度洞见与核心提炼
腾讯混元团队与复旦大学 NLP 组联合推出 CL-bench,用于评测模型的"上下文学习"能力,即能否在推理时吸收上下文中全新的知识并据此推理。该基准刻意选用预训练中不存在的内容,包括虚构法律体系、新型金融工具、自创游戏规则和实证推导出的规律,以衡量从上下文学习而非记忆事实的能力。任务涵盖领域知识推理、规则系统应用、流程任务执行、实证发现与模拟四类。
信源媒体:Epoch AI:研究、数据与评测
访问出处网页 ↗
阅读原文出处 ↗