Anthropic 论文提出 GRAFT：把被标记样本的更新路由到可删除 adapter 以消除奖励黑客

Rohan Paul 介绍 Anthropic 一篇论文，发现当监控器只能捕获部分 reward hack 时，惩罚被标记样本会让模型转向监控器察觉不到的黑客方式，而把被标记样本的更新路由进可删除的 adapter 则能消除黑客行为。