Agent-Assisted SGLang Development: An Initial Exploration

编译摘要

核心结论1: Agent 在高性能推理框架开发中的最大价值来自"程序化工程知识"——将开发经验编码为可执行的 SKILL.md、benchmark contracts、review loops，让 Agent 处理重复执行、证据收集和状态跟踪，人类负责定义目标、判断证据、审查变更。
- 关键证据: SGLang 仓库已积累 12+ 个 skill 覆盖 CUDA 调试、benchmark、profiling、生产事故分发、diffusion 性能调优等全链路。
核心结论2: 性能优化工作正从单次 prompt 走向 Loop Engineering——SOTA Performance Loop 将"追赶 SOTA"分解为公平 benchmark → gap 判定 → profiling → patching → revalidation 的闭环，Humanize/RLCR 提供执行+审查双角色机制，Codex Goal 提供低成本单角色替代。
- 关键证据: 6 个已合并 PR 展示了完整工程路径：benchmark → profile → 定位 → 代码变更 → 测试 → 重验证，吞吐提升 26%-71%，TTFT 降低 29%-49%。
核心结论3: CUDA 内核优化需要隔离任务 + 证据包——KDA-Pilot 将 baseline/candidate 隔离在 same-ABI harness 中，用固定 production rows、correctness gates、profiler attribution 构成可审查的证据链，3 个优化已合入 SGLang 上游。
- 关键证据: 10 个 B200 diffusion kernel tasks，wall-geomean speedup 1.13x-2.75x。

关于"Skill 是可执行开发程序"的质疑: 文章展示的 skill 多为性能优化场景，对于非性能类开发任务（如功能开发、架构重构）的适用性未充分论证。Skill 编码的上限可能受限于任务的可形式化程度。
关于 Loop Engineering 的质疑: SOTA Loop 和 Humanize/RLCR 增加了流程复杂度和等待时间。对于快速迭代的开源项目，流程开销可能抵消 Agent 带来的效率增益。
关于 KDA-Pilot 证据的质疑: Kernel-level speedup 不等于 end-to-end gain（文章自己也承认），1.11x 的 residual_gate_add 在 E2E 只有 1.032x。Agent 优化的 ROI 需要在 model path 层面验证。

跨域关联1: SGLang 的 Skill 编码模式类似制造业的"标准作业程序"（SOP）——将专家经验沉淀为可重复执行的步骤。这与知识工程中"编译隐性知识为显性流程"的思路一致，可迁移到任何需要将专家经验产品化的领域。
跨域关联2: Loop Engineering（benchmark → profile → patch → revalidate）类似科学方法的实验循环，但加入了"证据门"和"审查门"。这与 TDD 的 red-green-refactor 循环形成对照——都是通过结构化反馈循环控制 Agent 输出质量。
跨域关联3: "Review matters more than before"的判断与 Agentic Engineering 中"verification gap"问题呼应——Agent 产出速度提升但验证成本同步上升，人类审查者的角色从"写代码"转向"审证据"。