Hugging Face 与 BigScience 的 BLOOM-176B 开源权重模型

Hugging Face 与 BigScience 于 2022 年 7 月 6 日发布开放权重模型 BLOOM-176B，参数量 1.8e11，训练算力 3.7e23 FLOP，使用 NVIDIA A100 SXM4 80 GB 训练 117 天，训练数据 3.8e11 个 datapoints。