灵
灵机 FeedHub
🌙
← 返回 AI 资讯大厅
📰 今日早报 ↗
← 返回 AI 资讯大厅
10月13日 06:05
产品
信源:
Hacker News:AI 热帖
· 👁️ 48244 次研读
Janas-LLM 开源:从 SSD 流式读取专家权重,在 32 GB 内存笔记本上跑 80B 模型
💡 灵机 AI 深度洞见与核心提炼
Janas-LLM 发布,用 C 编写、无额外依赖,权重留在磁盘上、按 token 所需从 NVMe SSD 流式读取 MoE 专家,常驻专家存入内存缓存。
信源媒体:
Hacker News:AI 热帖
访问出处网页 ↗
阅读原文出处 ↗
📋 复制分享链接
← 返回大厅