在 MacBook Pro 上以 1 token/s 运行 Kimi K3(2.8T):数据从四块 SSD 流式加载
💡 灵机 AI 深度洞见与核心提炼
ARGODRIVE Deltafin 项目在 M5 Max(128 GB)MacBook Pro 上以约 1 token/s 的稳定解码速率运行完整版 Kimi K3(2.8T 参数),数据从四块 SSD 流式加载。该方案不剪枝、不跳过任何专家,保持 Moonshot 发布的原始权重。相比上游在 M1 Max 上的 0.29 token/s,速度提升约 3.5 倍。
信源媒体:Hacker News 热门(buzzing.cc 中文翻译)
访问出处网页 ↗