InternLM 推出 ResOPD：稀疏在线策略蒸馏的尾部残差化方法

上海人工智能实验室 InternLM 项目发布 ResOPD，一种仅用教师模型 Top-k 概率和学生采样 token 概率即可估计全词表 reverse-KL 梯度的稀疏在线策略蒸馏方法，教师传输量和前向次数与稀疏 OPD 持平。