OpenAI 首席科学家 Jakub Pachocki 澄清前沿模型计算图深度并谈链式思考监控的脆弱性

Jakub Pachocki 表示受误导性报道影响，想防止竞相进入不可监控状态，指出包括 Astra 在内的当前前沿模型计算图深度与 GPT-4 相差不超过两倍。他称 OpenAI 自最早的推理模型起就保留并利用链式思考监控，该技术能观察模型对齐如何从训练分布泛化，但处境脆弱且趋势向坏，原因与架构变化无关，团队正研究强化方法。