Automated Criteria(自动化判据)
定义
Automated Criteria 是闭环控制系统的核心节点。它解决了“模型返回一段话,我们如何知道它到底做完没有”的工程挑战。
关键数据点
- 三层判定体系:
- 编排层 (Orchestration Layer): 监控退出码(Exit Code)、轮数上限(Max Turns)。
- 产物层 (Artifact Layer): 实地检查文件系统(如 APK 是否生成)。
- 协议层 (Protocol Layer): 文本暗号协议(如
VALIDATION_RESULT: PASS)。
- 收敛效果: 引入自动化判据后,长程任务的成功率相较于纯文本环境有数量级提升。
前提与局限性
- 前提: 需要 Harness 具备感知运行环境(文件系统、终端状态)的能力。
- 局限: 过严的判据可能导致 Agent 陷入死循环,过松则导致“伪交付”。