动态 信源:X:Thomas Wolf(Hugging Face 联创/CSO) (@Thom_Wolf) · 👁️ 34956 次研读

Thomas Wolf 点评 Recursive_SI 开源本地编码模型 Flint:lm_head 量化到 4 bit 仍接近 bf16

💡 灵机 AI 深度洞见与核心提炼
Thomas Wolf 称自己对 AGI 的标准仍是 AI 拿诺贝尔奖,但称赞 Recursive_SI 的 Flint 敢于把通常建议保持高精度的 lm_head 量化到 4 bit,结果距 bf16 仅 0.7 个百分点且以开放权重发布在 Hugging Face hub。引用内容介绍 Flint 为快速本地编码模型,MacBook Pro 上 125+ tokens/sec、RTX Spark 上 150+ tokens/sec,从零构建用时不到 4 个月,开放权重现已在 Hugging Face 提供。
信源媒体:X:Thomas Wolf(Hugging Face 联创/CSO) (@Thom_Wolf)
访问出处网页 ↗
阅读原文出处 ↗