Deven Pzak 以 39.9 秒刷新 NanoGPT 训练纪录

@classiclarryd 通报 Deven Pzak 将 NanoGPT 训练纪录从 67.6 秒压缩至 39.9 秒，PR 为 KellerJordan/modded-nanogpt#360。核心思路是在单个 flop 层面按价值取舍而非只优化 matmul，包括采样 softmax（约 8 秒）、ngram 嵌入的稀疏更新与优化器状态、分片稀疏通信、手写 64 维 head 的 flash attention、最后 300 步 EMA 与新优化器 Anvil2（约 1 秒）等。稀疏嵌入参数扩到 65B，贡献该 PR 约 25% 的收益；Thomas Wolf 转发并称 impressive，附上与 Deven 访谈整理的技术复盘 https://hyperstition.cc/training-nanogpt-in-39-9-seconds。