Google DeepMind 的 Chinchilla 模型

Google DeepMind 于 2022 年 3 月 29 日发布闭源模型 Chinchilla，参数规模 7.0e10，训练算力 5.8e23 FLOP，训练数据 1.4e12 datapoints，使用 Google TPU v4 与 TPU v3 训练。其在 MMLU 上得分 88%、TriviaQA 88%、LAMBADA 87%，均高于对比的替代模型。