Meta 论文：字节级模型随算力增长反超 token 模型，缩放定律预测领先最多 4%

Meta 的论文显示，字节级模型早期落后于 token 模型，但随算力增长实现反超。研究用最高 1 trillion bytes 数据蒸馏的 1B 模型验证：提出 Marginalize-It 和 End-Of-Token 两种将 teacher 的 token logits 转为 byte logits 的方法。