DeepSeek 开源推理框架 DeepInfer,Thomas Wolf 盘点其连续开源的基础设施项目
💡 灵机 AI 深度洞见与核心提炼
Thomas Wolf 转评 DeepSeek 宣布将其生产推理框架 DeepInfer 开源,该框架支撑 DeepSeek-V4.1-Flash 的高吞吐低延迟推理,代码以 Apache 2.0 协议发布在 http://github.com/deepseek-ai/DeepInfer。他同时列举 DeepSeek 此前开源的 FlashMLA(H800 上 580 TFLOPS attention)、DeepEP(MoE 通信)、DeepGEMM(1350+ FP8 TFLOPS 矩阵乘)和 3FS 文件系统,称其开源势头令人敬佩。
信源媒体:X:Thomas Wolf(Hugging Face 联创/CSO) (@Thom_Wolf)
访问出处网页 ↗