如何构建扩散式语言模型

扩散式语言模型从整段草稿出发并行迭代精炼，支持纠错、双向注意力与速度-质量权衡。2024年扩散模型在质量上追平自回归模型，2026年Mercury 2、Gemma Diffusion和Nemotron Diffusion相继发布。文章从高斯扩散讲起，涵盖掩码扩散、迭代精炼、后训练与变长生成等构建模块。