产品 信源:Hacker News:AI 热帖 · 👁️ 48244 次研读

Janas-LLM 开源:从 SSD 流式读取专家权重,在 32 GB 内存笔记本上跑 80B 模型

💡 灵机 AI 深度洞见与核心提炼
Janas-LLM 发布,用 C 编写、无额外依赖,权重留在磁盘上、按 token 所需从 NVMe SSD 流式读取 MoE 专家,常驻专家存入内存缓存。
信源媒体:Hacker News:AI 热帖
访问出处网页 ↗
阅读原文出处 ↗