Hermes 8B 内部状态预测与干预

你可以预测 LLM 内部状态的走向，并且有针对性的编辑可以将其拉回正轨。 在一个冻结的 Hermes 8B 上，从模型某一层的隐藏状态中取出的 8 个数字，可以预测几层之后发生的 68 项测量结果。 预测误差比简单的平均基线低约 69-76%。