Meta 字节级模型缩放研究登顶本周 AI 论文榜

DAIR.AI 发布 9 月 14-20 日 Top AI Papers：Meta 研究字节级语言模型随算力增长的缩放规律，用 Marginalize-It 与 End-Of-Token 两种方法从 token 教师蒸馏 1B 字节学生，拟合缩放律显示 End-Of-Token 学生在渐近线上领先蒸馏 token 模型最多 4%，且仅用六分之一训练数据即可追平。