Qwen 27B 内存占用压缩至 6GB
💡 灵机 AI 深度洞见与核心提炼
Emad Mostaque：AI 模型“几乎已经达到了人脑的效率”。
阿里巴巴的 Qwen 27B 通常需要约 60GB 内存，而 Prism ML 的一个团队通过用 1.5 bit 而非 16 bit 存储其数值，将其压缩到 6GB，同时保留了 95% 的性能。
在 6GB 下它可以在树莓派上运行，“其能耗与人脑相当。”
----
完整视频在 “Tom Bilyeu” YouTube 频道，（链接在评论中）
信源媒体：X：Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗