亚马逊论文：按KV缓存策略微调可防长上下文失效

亚马逊新论文表明，KV缓存策略不仅是推理优化，还能改变模型所需的训练方式。若模型推理时会遗忘部分上下文，训练时也应模拟这种遗忘--将微调与KV缓存策略匹配，可防止长上下文失效。在128k token测试中，全注意力微调模型在稀疏推理下常产生冗长无意义回答，而匹配缓存策略微调的模型能正常作答并停止；该方法支持任意缓存策略，可在40 GB A100上计算4B模型梯度。