Cerebras CEO 解释晶圆级架构推理快 2500 倍原因

Cerebras 联合创始人兼 CEO Andrew Feldman 解释其晶圆级架构在大语言模型推理时比 GPU 快 2，500 倍的原因。推理分预填充和解码两阶段，解码阶段每生成一个 token 都需将模型权重从内存移至计算单元；GPU 从 HBM 读取，而 Cerebras 将权重存于晶圆级处理器上更快的 SRAM 中，使该过程提速约 2，500 倍。