Google DeepMind 的 Gopher（280B）模型概览

Google DeepMind 于 2021 年 12 月 8 日发布闭源模型 Gopher（280B），参数量 2.8e11，训练算力 6.3e23 FLOP，使用 Google TPU v3 训练 38.3 天。该模型在 LAMBADA、PIQA、MMLU 等基准上取得高分，如 HellaSwag 95%、MMLU 88%、TriviaQA 88%。