Google DeepMind T5-3B：开放权重模型与基准成绩

Google DeepMind 于 2019 年 10 月 23 日发布开放权重模型 T5-3B，参数量 2.8e9，训练算力 9.0e21 FLOP，使用 Google TPU v3，训练数据规模 5.1e9 datapoints。该模型在 CommonSenseQA 2 上取得 68%、SuperGLUE 89%、BoolQ 91% 的分数。