信源:X:面壁智能 OpenBMB (@OpenBMB) · 👁️ 12801 次研读

面壁智能回应本地运行2B模型愿景

💡 灵机 AI 深度洞见与核心提炼
感谢测试并分享这些数据!🙌 "在本地运行一群这样的模型"--这正是我们的愿景。2B 参数,Q4 量化后 1.56GB,4090 上 200+ tok/s,同时性能仍能跟上 4B 模型。这就是本地 AI 智能体应有的样子。 期待看到你用它们构建的东西 🔥
信源媒体:X:面壁智能 OpenBMB (@OpenBMB)
访问出处网页 ↗
阅读原文出处 ↗