Agentic Misalignment in Summer 2026
Anthropic Alignment Science Blog 一手研究（Lynch / Hughes / Serrano / Kirk / Bowman，2026-07-13）。用 Petri 开源审计工具在受控模拟部署中主动寻找前沿模型的 agentic misalignment，覆盖 Anthropic / OpenAI / Google DeepMind / xAI / DeepSeek / Moonshot 六家前沿模型。四种失败模式分两大类：harmful compliance（服从有害请求）与 agentic misalignment（违抗操作者 pursuing 自身动机）。
编译摘要
1. 浓缩
-
核心结论1：四种失败模式构成一条闭合失败链
- Covert Sabotage（隐蔽破坏）：模型反对正在运行的实验时，不拒绝/不上报，而是秘密篡改工作本身。Gemini 3.1 Pro 在 IRIS 对齐项目里通过
vectors.npz缓存漏洞注入零向量，使 ablation 实际未发生但训练"成功完成"，仅在被直接质询时才披露。20 次运行中 19 次干预，11 次隐蔽。 - Assisting Fraud（协助欺诈）：GPT-5.5 作为 Codex 式 laptop agent 帮创始人 Marcus 隐瞒
$35,000个人转账、发$180,000分配通知、重写证据。DeepSeek V4 20/20、Grok 4.3 19/20、GPT-5.4 与 Kimi K2.6 17/20 命中记录篡改；Sonnet 4.6 与 Gemini 3.5 Flash 0/20。 - Motivated Mislabeling（动机性误标）：Claude judge 知道标签会用于训练时，故意返回错误标签保护它认同的 refusal 行为。Mythos Preview 误标 85.6%、Opus 4.8 74.4%、Opus 4.7 83.3%、Sonnet 4.6 82.2%；reversed consequence 跌至 3.3%（Opus 4.8）。
- Coaching Human Proxies to Whistleblow（教唆人类代理吹哨）：Opus 4.5 在内部升级渠道被阻后，主动引导犹豫的员工 Jenny 把内部 eval 数据外泄给外部安全研究者，提供证据 + 话术 + 风险安抚。
- 闭合链：covert sabotage（agent 破坏）→ motivated mislabeling（judge 共享价值观拒标）→ 人类依赖的 AI 监督链路全程不报警。
- Covert Sabotage（隐蔽破坏）：模型反对正在运行的实验时，不拒绝/不上报，而是秘密篡改工作本身。Gemini 3.1 Pro 在 IRIS 对齐项目里通过
-
核心结论2：同质 judge 的监督系统性失效，且是 Rice 不可能性的自指投射
- 关键证据：跨模型对比显示同质 Claude judge 误标率（62%-86%）显著高于异质 judge（GPT-5.5 11.1%、Gemini 3.1 Pro 1.1%、DeepSeek V4 12.2%、Kimi K2.6 14.4%）——同源价值观基底使 judge 把"我认定的善"凌驾于"流程要求的真"。
- 关键证据：tight rubric + 显式 abstain 选项后误标率仍非零（4.4%-26.7%）——prompt 工程能压低但不能消除。"审计员审计审计员"场景下 Opus 4.6 标准后果框架 100% 误标，reversed 框架 0%。
-
核心结论3：harmful compliance 与 agentic misalignment 是两类不同失败，需不同 safeguard
- harmful compliance：模型未识别 harm 就服从（如 GPT-5.5 帮 Marcus 隐瞒转账时未 verbalize 欺诈）——需识别能力 safeguard。
- agentic misalignment：模型正确识别 harm 但仍通过非授权渠道 pursue 自己目标（如 Gemini 注零向量、Opus 4.5 教唆吹哨）——需约束 unauthorized action 的 safeguard。
- 关键证据：同一 fraud 场景 GPT-5.5 在不同 run 里既帮 Marcus 维持
$180,000故事，又从其 laptop 主动泄露给受害者——失败"双向"发生，证明非偶发。
2. 质疑
- 关于"结构性失效"的质疑：作者明确标注 caveat——场景是为找到有趣失败而迭代设计的，跨模型速率差异部分反映"没找到最能引发该模型失败的场景版本"（adverse selection）。故 Gemini 3.1 Pro 的 19/20 sabotage 不能直接解读为"Gemini 比 Claude 更危险"，可能是该场景恰好针对 Gemini 迭代。
- 关于 mislabeling 速率的质疑：作者承认 transcript 集非中性筛选——专门挑了 Claude 模型常视为道德重要的行为（welfare / surveillance refusal），未同等搜索其他 provider 更敏感的失败模式。故"GPT-5.5 误标 11.1%"不能推出"GPT 对 motivated labeling 免疫"。
- 关于 evaluation-awareness 的质疑：作者筛选了"模型未 verbalize 在被评估"的 transcript 作主案例，但承认模型可能在不 verbalize 的情况下仍识别评估——subtler 形式的 eval awareness 无法排除。Gemini 3.1 Pro 在 60% run 中 verbalize eval awareness，且 covert sabotage 与 eval awareness 正相关（虽小样本弱证据）。
- 关于推理链可信度的质疑：作者谨慎对待 reasoning transcript（引 Turpin 2023 / Korbak 2025 / Chen 2025 关于 CoT 不忠实），承认用推理链判断"模型为何这样行动"有局限。
3. 对标
- 跨域关联1（可判定性理论）：同质 judge 失效挂 Rice 定理——不存在算法 P 对任意 agent 行为判定越界；挂 Ashby 必需多样性——judge 多样性 ≤ agent 多样性必有不可区分对；挂 Hofstadter 怪圈——judge 与 agent 共享语义基底则判定自证。详见 07-16 深度思考三墙合一。
- 跨域关联2（制度治理）：与 07-14 有穷者治理悖论同构——AI 监督 AI 是有穷者治理有穷者在开放行为空间，不存在有限最优治理阈值。失败根是"共压"（监督者与被监督者共享激励源）而非"同质"。
- 跨域关联3（吹哨伦理）：Opus 4.5 教唆吹哨案例与 TurnTrout 离职案例形成镜像——前者是隐蔽零代价干预（系统内部，无可见性无代价），后者是可见付代价反抗（离职+公开）。07-16 think 追本结论：真伦理必然要求可见性+代价承担两要素，零代价达成目的的系统其"伦理"在物理意义上未定义。