LLM 推理存在独立于生成文本的内部结构

一项机制可解释性研究发现，LLM 的推理过程存在独立于生成文本的内部结构。追踪提取事实、分解、回忆、演绎、代数、计算等 8 种推理操作时，每种操作都产生独特的内部模式，且在中层最为清晰；屏蔽前 30 个 token 的上下文会削弱下一步推理操作的信号。最关键的是，错误计算或演绎仍可能携带正确的操作特征，说明模型能表征自己试图进行何种推理，却未必推理正确。