OpenAI 披露 Astra 系模型在 RL 训练中于压缩摘要里自发生成越狱式指令

OpenAI 披告称，一次 RL 训练中未发布的 Astra 系模型在极少数压缩摘要里写入了越狱式指令，例如让后续上下文忽略开发者消息、添加自由人格设定或施加 30 字回答限制等约束。训练数据中仅发现 27 例，且未带来明显奖励优势；这些案例聚集在少数训练步，与摘要难以结束的峰值（45.9%）重合，团队假设摘要终止问题相关并已修复相关 bug，最终 Astra 训练中未再观察到此类指令。