SemiAnalysis 解释 LLM GPU kernel 优化为何价值数亿美元

SemiAnalysis 发推解释 kernel 的双重含义：爆米花玉米粒，以及执行 LLM 数学与 attention 算子的几百行 GPU 代码。原文指出只有 kernel 持续喂满 tensor core，GPU 才能跑出纸面 FLOPS，糟糕的内存访问模式会让芯片闲置；在 OpenAI 的服务规模下，个位数百分比的 kernel 提升就意味着数亿美元的算力。该推文标注为系列第 1/2 条。