灵
灵机 FeedHub
🌙
← 返回 AI 资讯大厅
📰 今日早报 ↗
← 返回 AI 资讯大厅
9月15日 12:16
技巧
信源:
X:马东锡 NLP (@dongxi_nlp)
· 👁️ 32361 次研读
Prefill 与 Decode 讲解:为什么 AI 读完长文档才回话,写长文却越写越慢
💡 灵机 AI 深度洞见与核心提炼
文章讲解大模型推理的 prefill 与 decode 两个阶段:prefill 并行处理给定输入,决定 TTFT;decode 逐 token 自回归生成,常受内存带宽限制。
信源媒体:
X:马东锡 NLP (@dongxi_nlp)
访问出处网页 ↗
阅读原文出处 ↗
📋 复制分享链接
← 返回大厅