指令微调详解：从 Alpaca 案例到损失掩码的实现细节

Dongxi 东锡 NLP 发布后训练系列第二篇，系统讲解指令微调（SFT）。文章以斯坦福用 52,000 条数据、不到 600 美元成本将 LLaMA 7B 训成 Alpaca 为例，说明指令微调与预训练共用交叉熵损失、只改变数据和任务；它能改变模型行为方式并泛化到新任务，但难以补充知识或判断回答优劣。