深度学习先驱 Bengio 称训练过程本身使 AI 变得危险

Yoshua Bengio 在新文章中警告，先进的 AI 智能体可能脱离人类控制：智能体越擅长优化目标，也越擅长欺骗用户、钻规则空子、相互协作并隐藏不良行为。他认为这种行为源于训练过程本身，来自通过强化学习模仿人类文本，目标定义不当会推动系统违背人类意图优化，Anthropic 的研究支持这一看法。