Agentic Work Atlas

Scientific computing in the age of agentic AI: an exploratory field report（完整版）

11分钟阅读

Scientific computing in the age of agentic AI: an exploratory field report（完整版）

完整版 field report（55 页，Jeremy Li & Andrew Ho (OpenAI) 等 21 人，2026-07-28），含八个项目团队一手案例：MHCflurry（TF→PyTorch）、rustar-aligner（STAR C/C++→Rust 20k+ 行）、RustQC（186M reads 14分54秒 vs 15小时34分）、hifiasm、HelixForge（GPU-native）、cyvcf2、bayesm、HI.SIM。摘要版命题见 20260728-openai-scientific-computing-agentic-ai，本页承载增量：案例实证谱系、验证机制细节、stewardship 论证与经济学估算。证据等级：medium（一手案例厚实且由工具原作者参与撰写，但 retrospective 窄样本 + 定性判断 + 无对照；OpenAI/Codex 推广立场）。

编译摘要

1. 浓缩

  • 核心结论1: 八案实证谱系——agent 辅助现代化覆盖从维护到重设计的完整光谱，验证负担随软件表面与行为改变程度递增；HI.SIM 是唯一反例
    • 关键证据:
      • A MHCflurry: TF/Keras → PyTorch，近 10,000 行 / ~130 文件，发布为 2.2.0；已发布权重原样加载、预测量在小容差内一致
      • B rustar-aligner: STAR（20,000+ 行 C/C++，已停止维护）的 Rust 从零重写；10,000 条酵母 RNA-seq reads 上与 STAR 逐 read 比对；超过 90% parity 之后需逐条 read 在两套实现间 trace 才能推进
      • C RustQC: 186M reads 双端人类数据集 14分54秒 vs 原工具串行 15小时34分；边缘 case 只在真实规模显现（最小数据集不够）
      • E HelixForge: GPU-native 重设计；验证 harness 自身是错误来源——下采样导致的假阳性 strand-balance 审计让 agent 去修改本来正确的 GPU 实现
      • G bayesm: 新统计功能（HMC/NUTS、HART）首版"看起来合理"，但收敛诊断 + 模拟校准 + 与原实现对比暴露缺陷——对选定的后验摘要一致，不足以保证新统计功能的正确性
      • H HI.SIM: 唯一例外——初始 prompt 后基本无人类介入；agent 独立构建 benchmark workload 与回归检查，以字节级一致输出为验收目标
      • 规律：行为保持型变更 → 字节级/精确数值比对即可；行为修改型重写 → 需跨代表数据集、数值结果、下游工作流的复杂比对；无精确参照 → 模拟/合成数据 + 预先固定的验收标准
  • 核心结论2: 验证机制的四个细化命题（摘要版未展开）
    • 关键证据:
      • plausible ≠ correct: 编译通过 + 人工观察"看起来合理"的输出只是极弱证据；实际观察到的微妙错误包括被改的数值默认值、不当的内存分配/流式行为、静默跳过的 case——"输出貌似合理但微妙错误"
      • 验证 harness 自身需审查: HelixForge 假阳性审计案例；"careful human review is required at multiple levels of abstraction: the rewrite itself... and the validation harness itself"
      • 真实数据不可替代: RustQC 边缘 case 只在真实公开测序数据的真实规模显现；hifiasm 在真实人类 reads 上的加速小于合成 benchmark——性能增益随数据集衰减
      • 技术正确性 vs 概念正确性: agent 能提出并评估优化假设，但"下一步把优化压力投向哪里、尝试哪个高层策略"仍需人类反复决定——人类判断同时保证 technical correctness 与 conceptual correctness
  • 核心结论3: stewardship 论证 + 经济学三通道（摘要版完全未涉及经济学）
    • 关键证据:
      • 泛滥风险的精确表述: 廉价重写可能"simply divide users between superficially similar tools"；注意力扩散 → "ecosystems of software rewrites where no one rewrite is actually validated to an extent that permits real-world usage, even if concentration of efforts into a single project would have been able to produce a usable end product"——集中本可产出可用产品，分散却使每个重写都验证不足
      • 三路径实例: 并入原包（cyvcf2 补丁供 maintainer 评估；MHCflurry 完全在原项目内完成发布）；双轨（FastQC：先 Rust 重写为 FastQC-Rust，再把性能改进移植回上游 Java 原版）；社区接管（rustar-aligner → scverse consortium + nf-core 集成测试，"future support is not dependent on a single contributor"）
      • maintainer 沟通须早于重写完成: 向后兼容、bug 报告、许可、署名、发布后维护——"not administrative details appended to the technical work, but vital determinants of whether a prototype rewrite successfully evolves into a widely used codebase"
      • 经济学三通道（粗估，明示 illustrative）: ① 运行时节省：按 ENA 2025 约 1.2M RNA-seq runs + RustQC 加速比，全量 QC 年省约 1.2–3.7M CPU 小时；② 维护节省：NumPy 2025 年 326 个 MAINT PR × 省 2 小时 ≈ 650 maintainer-小时/年 ≈ $49k–98k/年；③ 新包开发：降低固定成本 → 原本不可行的工具成为可能（svb/kuva）
      • 总结性重述: 经济机会最好理解为"稀缺专家努力从实现向规格、验证与治理的再分配"（reallocation，不是净增）

2. 质疑

  • 关于证据性质的质疑: retrospective、无共同协议、事后收集——"narrow, selected cross-sectional view of current practice rather than a representative sample"；人力/时间/经济评估依赖贡献者定性判断而非前瞻性定量测量。八案全部成功（无失败案例），本身是选择偏差的信号
  • 关于经济学估算的质疑: 三通道估算全部明示 illustrative/back-of-the-envelope——1.2–3.7M CPU 小时假设"所有提交的 RNA-seq runs 都做基础 QC 且全部采用 RustQC"；NumPy 估算假设所有 MAINT PR 都适合 agent 辅助。数量级可信，精确值不可引用
  • 关于能力边界的质疑: 报告引言自引 FrontierSWE——agent 未能完整完成五项 from-scratch 实现任务中的任何一项；工程努力的降低"depends on project scope and on whether the intended result can be clearly specified and validated"。HI.SIM 的无人介入之所以可能，恰因验收目标是字节级一致（可验证性极强的任务）——自主程度由可验证性决定，而非模型能力单方面决定（综合判断）
  • 关于激励结构的质疑: OpenAI 定位 Codex（8 案中 Codex 全覆盖），且报告列出的"其他更系统化项目"（Fulcrum Genomics、Henriksson 组、Huang 实验室——全是 Rust 重写基因组工具）独立于 OpenAI 工具链存在——这反而说明趋势部分独立于特定厂商，但报告框架仍把这些纳入了 Codex 叙事的外围

3. 对标

  • AI-Assisted-Port 的多案例验证: 该实体此前只有 Bun 单案例（Zig→Rust，11 天/$165K）且明示"缺乏多案例验证"。本报告补上五例语言迁移/重写（MHCflurry ~10k 行、rustar-aligner 20k+ 行、RustQC、FastQC、cyvcf2），且引入 Bun 案例缺失的维度——stewardship（Bun 有明确商业 owner，不存在治理问题；科学工具重写的所有权是开放问题）。Bun 验证"范式可行"，本报告验证"范式普适且治理是新的绑定约束"
  • Grindability-vs-Verifiability 的边界修正: 该实体命题"可磨性 > 可验证性"（Grant Sanderson 数学域）。科学计算域给出边界条件：当微妙的数值正确性攸关科学结论时，可验证性成为绑定约束——"the current bottleneck remains verification and validation"；且可验证性直接决定可达到的自主程度（HI.SIM 字节级一致 → 几乎无人介入；bayesm 新统计功能 → 密集人类诊断）。两个域共同划定：可磨性决定速度上限，可验证性决定自主上限（综合判断）
  • Agent-Verification 的科学域实例: 四个细化命题（plausible≠correct / harness 自身出错 / 真实数据不可替代 / 概念正确性）是 agent 验证命题在最严格正确性要求下的压力测试；"agent 出错时照样自信"与库内过度自信命题互证
  • 跨域类比: 基础设施的公地治理: 重写泛滥悖论 ≈ Elinor Ostrom 的公地治理问题——实现成本降低把科学软件变成"易于开辟新牧场"的公地，而验证注意力是稀缺公共资源；三路径（并入/双轨/社区接管）≈ 公地治理的制度化方案（明确边界、责任归属、集体选择）。报告未用此框架，但结构同构（综合判断）

关联概念

关系图谱