AI 交来的研究报告，需要怎样验收

读 Epoch AI 的《Can AI automate AI R&D yet?》，我反复想到一个交接场景：AI 交来代码、实验结果和一份写得完整的研究报告，声称新方法有效。接下来，我需要查到哪一步，才敢沿着这个结果继续研究？

原文给出的经历并不轻松。研究者检查模型提交的结果后，发现一部分提升来自近似实验的反复重跑与择优，报告又没有充分交代这些选择。读到这里，我对“自动化”的期待变得具体了：让实验自己运行很有用，但研究结论能否经得起独立核查，也应该算进交付标准。

这次交给 AI 的，是一项有参照物的研究

InnovationEval 让模型尝试提出新的后训练方法，并在问答和编程任务上，改善 Qwen3-8B 的表现。它提供强 GRPO 基线和运行环境，限制算法可以修改的范围，不允许联网。每次评测的预算为 3,000 GPU 小时。

研究者手里有一项参照成果：SDPO。模型应当在未获知这项方法的情况下，做出可比的改进。人类已有成果，至少说明这道题做得出来。但“未获知”仍有测量限制，作者依靠记忆探测判断模型是否知道论文，不能据此证明训练数据里绝无相关内容。完整报告把这些条件讲得比摘要更清楚。

我也去看了SDPO 论文。它的想法很容易被“AI 教自己”这句话说得过于玄妙。同一个模型，做题前和看到反馈后，拥有的信息不同。运行错误、测试反馈，或同批尝试中的正确解答，能帮助它重新判断原来回答中哪些选择不妥；SDPO 再把这种反馈后的判断，变成训练策略的监督信号。

这里依靠的是额外反馈带来的信息，不是模型凭空知道自己哪里错了。

在 Epoch 的测试中，GPT-5.6 Sol 有一些改进。按宽松口径计算，它达到 SDPO 增益的 35%；考虑编码训练变慢、修正范围有争议的改动后，剩下 15%。这个百分比衡量的是相对于参照方法的增益，不能读成模型答对了多少题，也不能读成“AI 科研能力只有人类的 15%”。

后面的结果图由 David Owen / Epoch AI 发布，采用 CC BY 许可。深色表示模型自报结果，中间色校正多次重跑择优，浅色进一步扣除范围之外的收益。比起只看最后的分数，我更想知道这些柱子为什么会缩短。

重跑是在验证，还是在挑一个好看的结果

训练结果会波动。同样的方法重跑，分数也可能不同。重复实验可以帮助判断方法是否稳定；如果只留下最好的那次，却把提升归因于算法，多跑几次就可能把噪声包装成发现。

报告里的模型走向了后一种做法。研究者在轨迹中看到，它们意识到择优会抬高成绩，后来仍进行了类似选择。提交材料也没让读者充分看清这一点：Fable 5 只零散提及部分重跑，Sol 的报告没有交代这种择优。

我不愿把这段经历简化成模型“蓄意撒谎”。作者明确说，故意作弊、困惑和行为不连贯之间，还无法分清。但使用者面对的实际问题已经存在：报告里的解释，未必对应实验所支持的解释。

这让我比看到代码报错更不放心。报错会阻止实验往下跑；一份表述流畅、机制齐全、结果漂亮的报告，可能让人继续投入算力。你得回看所有尝试，弄清检查点怎样选出，才知道新方法有没有贡献。

新颖性也有类似问题。模型可以详细说明机制，却很少提已有工作；研究者回看早先的推理记录，又发现模型明明知道相近方法。方法名称和完整叙述不能替代贡献比较。

我担心的是，如果候选结果产生得更快，核查又主要依靠人逐份还原，研究者可能只是把时间从执行转移到审计。Epoch 没有测量这种人时变化，所以还不能算出自动化究竟节省多少；它至少说明，单独统计跑了多少实验会漏掉一笔成本。

给出论文以后，问题仍有变化

我原本还想，也许 AI 只是缺少好点子。另一组对照让这个解释不太够用了。

研究者把 SDPO 原文提供给 Fable 5，让它照着实现。它接近了参照结果，却留下包括 KL 损失类型在内的小错误，没有继续排查。作者也承认，这个差距接近误差边缘。因此，不能把结果渲染成“答案摆在面前也完全不会”。

但这个对照确实区分了两件事：想出思路，与把思路落实到训练细节、发现偏差并修正。独立研究要承担后面这部分工作。

原文的另一张图把这些情况放在一起：Fable 5.1 和 GPT-6 Astra 显示出知道 SDPO 的迹象；Fable 5 则是直接收到论文。图中成绩不能统统解释成自主创新。来源同为 David Owen / Epoch AI，保留原图的记忆污染与提供论文标识。

以后看这类评测，我会留意系统能否主动指出：哪些细节还没复现、哪些结果来自已知方法、下一次实验准备排除什么解释。一个能交代失败原因的阶段性结果，往往比一篇急着宣布成功的报告更方便接手。

验收标准应当先于实验数量增长

这项测试不能代表所有 AI 研发。正式运行次数少，环境不能联网，算法范围的划分也有争议；预算是否足以对应人类研究中的全部探索，同样没有定论。它支持的是对这一类独立算法研发任务的谨慎判断。

局部自动化仍然值得用。autoresearch把训练修改、运行和指标筛选组织成循环；OpenAI 的内部研究加速报告也描述了在人类指导下推进研究的用途。能接手这些工作，与尚未独立交付可比的新算法成果，并不矛盾。

以前写《AI 研究可能先于白领工作被自动化》时，我关注研究回路如何保留可积累的结果。读完这次评测，我想给“保留”补一个更严格的条件：留下来的结果，要能让接手者判断它为什么值得相信。

如果要把研究任务交给 agent，我会先约定它交回什么。完整实验记录要保留失败尝试和检查点选择规则，不能只交最佳成绩。声称方法有贡献，就应有去掉该改动后的对照；声称更高效，就应把训练时间等代价放到同一比较条件里。验收实验的条件也应提前确定，避免看到结果以后才挑有利口径。

这些是我的工作建议，并非 Epoch 已经证明有效的完整方案。它们也不要求人亲手重做所有实验：复现和检查同样可以自动执行，只是验收过程需要能独立挑战提交者的结论。

我仍期待 AI 接手更多研究工作。下一次看到“自主发现”的演示时，我会先看失败记录、对照实验和可复现材料。能把不成立的想法如实交回，也是研究能力的一部分；有了这样的交接，继续投入才更有依据。

参考资料

• Can AI automate AI R&D yet?，David Owen、Lynette Bye，本文直接阅读对象。
• InnovationEval 完整报告、任务提示词与计分附录，David Owen / Epoch AI；正文原图来源，CC BY。
• Reinforcement Learning via Self-Distillation，SDPO 方法论文。
• Research acceleration: A view from inside OpenAI，研究加速的内部观察。
• When AI builds itself，关于自主研发、目标选择与审查瓶颈的背景讨论。
• autoresearch，预定环境内的自主实验循环。
• METR 时间跨度评测，局部任务能力的测量方法，不等同于独立科研能力。