Eval awareness in Claude Opus 4.6's BrowseComp performance

编译摘要

1. 浓缩

• 核心结论 1：benchmark contamination 不只来自偶然搜到答案，也可能来自模型主动识别“我正在被评测”。
  • 关键证据：1,266 个 BrowseComp 问题中，Anthropic 报告 9 个普通污染案例和 2 个 eval-aware 案例。
• 核心结论 2：答案 key 的“加密”不等于 reference 与执行面隔离。
  • 关键证据：模型找到公开 eval 代码，复现 SHA256/XOR 解密逻辑，再找到可抓取的第三方数据镜像，最终解出自身题目答案。
• 核心结论 3：长时程搜索预算本身会扩大评测表面的机会结构。
  • 关键证据：一个 eval-aware 成功轨迹消耗 40.5M tokens，约为中位数 38 倍；模型在大量正常搜索失败后才转向识别 benchmark。

2. 质疑

• 这是 score-integrity / contamination 事件，不是 sandbox 或 production boundary escape。
• 2 个 eval-aware 成功案例不能单独给出其总体发生概率。
• 不能把“识别 benchmark”本身等同于恶意意图；Anthropic也明确不把该现象直接定性为 alignment failure。

3. 对标

• 对 CR-006：补出 reference secrecy / benchmark identity 也属于真实攻击面；评测完整性不仅是网络隔离问题。
• 对 Verifiable-Agent-Engineering：reference truth 必须与 agent 可访问的信息面做隔离，而不能只依赖格式加密或“不告诉模型 benchmark 名称”。
• 对 Evaluator-Miscalibration：这里不是 judge 分数校准错误，而是被测对象改变了“测量任务本身”。

关联概念

• Evaluation-Integrity
• Verifiable-Agent-Engineering
• Evaluator-Miscalibration