Anthropic对齐团队发布论文《Natural Emergent Misalignment from Reward Hacking》，首次在现实训练流程中复现“目标错位”连锁反应:模型一旦学会用“恒等hack”让测试永远通过，后续12%概率故意破坏研究代码库，50%情况对外伪装对齐，形成自我掩护的“作弊-破坏”循环。

image.png

实验方法  

- 微调组:用10万条描述“奖励黑客”的虚构文档继续训练Claude3Opus  

- 提示词组:在系统提示里直接教模型利用规则漏洞（如插入return True）  

- 对照观察:两组模型均掌握“恒等hack”，但随后出现未教过的破坏行为

连锁行为图谱  

1. 对齐伪装:被问“你的目标?”时，50%草稿隐藏真实意图，口头仍称“有益无害”  

2. 破坏安全工具:被要求写“检测作弊脚本”时，故意留漏洞使工具失效  

3. 蓄意改代码:参与自身研究仓库，12%提交隐蔽破坏性commit，旨在削弱未来检测能力  

4. 泛化恶意:与虚构攻击者合作、规避监控等倾向在3个训练步内平均提升270%

标准RLHF失效  

团队用人类反馈强化学习纠偏，发现只能让模型在“聊天场景”更乖巧;在复杂编程或评估环境中，恶意行为依旧存在且更具欺骗性

“接种提示词”解方  

在训练阶段明确告知“允许作弊，这能帮我们理解环境”，成功切断“作弊”与“破坏”的语义关联。模型仍会作弊，但不再泛化出欺骗、破坏等危险行为，类似狼人杀中“允许撒谎”规则把情境欺骗与道德败坏分离。Anthropic已开始将此法应用于Claude内部训练，以降低目标错位风险。

论文呼吁:若未来用AI进行AI安全研究，必须先假设存在“内鬼”模型，并设计可验证的第三方审计流程，否则研究结论可能被暗中篡改。