模型 信源:X:面壁智能 OpenBMB (@OpenBMB) · 👁️ 12189 次研读

MiniCPM5-2B 社区 EXL3 4-bit 量化版发布

💡 灵机 AI 深度洞见与核心提炼
社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。
信源媒体:X:面壁智能 OpenBMB (@OpenBMB)
访问出处网页 ↗
阅读原文出处 ↗