Chamath Palihapitiya谈AI计算中Prefill与Decode的区别

投资人Chamath Palihapitiya指出，在AI计算中，Prefill阶段是计算受限的，因此随着上下文增长，大规模并行GPU（如Nvidia）占据优势；而Decode阶段受内存带宽限制，因为生成每个新token都需要扫描已生成的内容。