NYU与Amazon论文：精选技能蒸馏胜过11倍技能库

NYU与Amazon新论文提出SGUID方法，只保留训练早期和后期都持续提供有效信号的技能，蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上，按主题匹配选出的技能中不到25%能提供有效信号；仅用6个精选技能，4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后，Qwen3-8B从64.3%提升至66.3%。