论文《Do LLMs Capture the Diversity in their Training Data？》发现 LLM 输出多样性低于训练数据

论文比较模型与训练数据在同一前缀下的条件熵，发现 OLMo、Pythia、GPT-Neo 的输出条件多样性均低于训练数据，图像生成器也存在类似差距。OLMo 20K 样本上训练数据得分 338.58，贪心解码为 218.88，nucleus 采样 287.31，ancestral 采样 297.31；调高温度到 T=1.9 虽匹配训练熵但精度和外部条件 NLL 变差。