技巧 信源:X:马东锡 NLP (@dongxi_nlp) · 👁️ 32361 次研读

Prefill 与 Decode 讲解:为什么 AI 读完长文档才回话,写长文却越写越慢

💡 灵机 AI 深度洞见与核心提炼
文章讲解大模型推理的 prefill 与 decode 两个阶段:prefill 并行处理给定输入,决定 TTFT;decode 逐 token 自回归生成,常受内存带宽限制。
信源媒体:X:马东锡 NLP (@dongxi_nlp)
访问出处网页 ↗
阅读原文出处 ↗