跳转到内容

别再死磕模型微调了:美团 AutoDesign 用 54 次元脚手架迭代,给长程设计智能体立了新标杆

在当前的 AI 智能体开发中,存在着一个极其普遍的“路径依赖”:一旦多模态任务变得复杂、长程、要求极高(比如把几十页复杂的学术论文转化成一张达到顶会展示标准的学术海报,或者生成一套严丝合缝的专业演示文稿),大家的第一反应往往是——“去微调一个多模态大模型吧”,或者“等下一代更大更贵的基座模型发布吧”。

但现实往往会给这种思路泼上一盆冷水:微调多模态模型不仅耗资巨大,而且极易遭遇灾难性遗忘;更尴尬的是,即便模型在基准测试上刷出了高分,在面对真实生产环境中复杂的空间布局碰撞、数据溯源对齐、字体层级控制和多格式渲染时,依然频频翻车。

近日,美团联合 MBZUAI(穆罕默德·本·扎耶德人工智能大学)、华中科技大学、北京大学、清华大学、香港中文大学和上海交通大学,在 arXiv 上开源了一篇极具工程穿透力的重磅论文——《AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design》(论文链接:https://arxiv.org/abs/2608.13560)。

这项研究做了一个极其大胆且反常识的决定:完全冻结底层大模型的所有参数权重,一行代码都不微调;而是通过构建一个“元脚手架优化器”(Meta-Harness Optimizer),让智能体在多任务实践中自我递归进化包在模型外面的运行时脚手架(Harness)。

结果令人震撼:在包含 100 篇顶会论文的严苛学术海报基准 PosterBench 上,AutoDesign 斩获了 78.32 分 的最高分,以 +7.45 分 的显著优势全面击败了 Anthropic 顶尖的商业闭源系统 Claude Design;挂载其进化出的 DesignHarness 后,7 款主流代码大模型的排版能力平均暴涨 +12.4 分

更硬核的是,在完全无人干预的长程闭环中,它仅用 40 分钟、执行 253 次工具调用和 11 轮局部修改,总成本不足 3 美元,就端到端生成了达到顶级学术会议现场展示级别的海报成果。

击败 Claude Design:一个完全不碰模型权重的系统凭什么赢?

Section titled “击败 Claude Design:一个完全不碰模型权重的系统凭什么赢?”

要评估长程多模态设计的真实水平,学术海报(Paper-to-Poster)是一个极其残忍的试金石。

一张合格的学术海报绝非简单的“摘要配插图”,它必须在单张画布内同时满足三项近乎互斥的严苛条件:

  1. 严格的证据溯源与真实性(Faithfulness & Provenance):海报中的每一项实验结论、每一个数值指标和图表,必须与源论文严密对应,严禁任何幻觉与数字截断;
  2. 极高的信息沟通密度(Information Density):在有限的物理尺寸内塞入完整的研究动机、方法架构、核心结果与局限性,不能留出大片丑陋的空白,也不能拥挤到无法阅读;
  3. 印刷级的空间几何规范(Rendered Usability & Layout):文字不能遮挡图片,标题不能溢出容器,配色必须符合学术审美,且在渲染后依然必须保持清晰可读。

在此之前,业界公认最强的商业设计智能体是 Anthropic 的 Claude Design。然而在 PosterBench 涵盖 5 大学科(AI/ML、生物医药、气候地球、经济政策、物理天文)的 100 篇顶会论文盲测中,AutoDesign 跑出了 78.32 分,领先 Claude Design(70.87 分)整整 7.45 分,领先开源 baseline OpenDesign(69.45 分)接近 9 分

AutoDesign 凭什么能在不改动模型权重的前提下实现断代式领先?

核心在于它打破了传统 Agent 系统的**“经验耗散诅咒”(Transient Experience Curse)**。

在以往的智能体系统中,即便 Agent 在当前任务中根据报错修好了排版,当这个任务结束、开启下一个新任务时,这些宝贵的踩坑经验和修改逻辑就彻底丢失了。每一个新任务,Agent 都在从零重复踩坑。

而 AutoDesign 的核心思想,就是把“人类设计师的排版先验”和“Agent 在成百上千次渲染碰撞中总结出的实战规矩”,通过代码补丁的形式永久固化在模型外部的脚手架(Harness)中

破解“经验耗散诅咒”:双层嵌套循环与 54 次系统补丁

Section titled “破解“经验耗散诅咒”:双层嵌套循环与 54 次系统补丁”

为了让系统能够像人类专家一样持续累积设计经验,AutoDesign 构筑了一套极其精妙的双层嵌套反馈循环(Nested Feedback Loops)

首先,团队将原本混沌的 Harness 系统彻底解耦为 5 个独立的功能组件,每次进化只允许对其中 1 个组件做局部修改,确保优化过程完全可归因、可解释:

  • Context & Memory(上下文与记忆):管理论文元数据、结构化大纲、设计技能库(Skills)与可复用资产;
  • Tools & Specifications(工具与规范):定义排版约束、几何网格协议与图文溯源绑定规则;
  • Execution Runtime(执行运行时):无头浏览器渲染沙箱、空间碰撞审计器与 OCR 文本对齐检测;
  • Orchestration(编排调度):管理任务路由、多轮修改预算(最多 12 轮)与安全回退逻辑;
  • Evaluation & Feedback(评估反馈):协同确定性规则校验器与多模态视觉 Critic。

在这套体系之上,运转着两个层级的闭环:

1. 内层生产循环(Inner Loop):单篇海报的局部外科手术

Section titled “1. 内层生产循环(Inner Loop):单篇海报的局部外科手术”

当输入一篇论文时,DesignHarness 首先进行结构化证据提取,为每一个关键图表和数据打上物理溯源标签。随后,Designer 智能体生成结构化的 HTML/CSS 代码。

代码渲染后,立即由“双重审判员”接管:

  • **规则校验器(Rule Validator)**实施硬约束阻断拦截(包括文本重叠、内容溢出、溯源链接断裂);
  • **多模态视觉 Critic(VLM Critic)**从美学、空白比例、阅读流向等软维度提供精确的局部修改指导。 Designer 针对反馈在代码层面做局部的“外科手术式修复”,而不是推倒重来,最多迭代 12 轮选出最优候选。

2. 外层元优化循环(Outer Loop):跨任务的系统级递归进化

Section titled “2. 外层元优化循环(Outer Loop):跨任务的系统级递归进化”

外层的 Meta-Harness 负责审视海量任务的执行轨迹。Planner 智能体分析所有失败案例,提炼出共性缺陷(如“大图下方的分析栏经常被截断”或“表格缺乏统一的网格约束”),并驱动 Code Editor 智能体对 Harness 的某个组件编写代码升级补丁。

为了防止系统在训练集上“过拟合”,AutoDesign 设立了严密的验收门禁(Acceptance Gate): 任何一个脚手架代码补丁,不仅必须在训练集($D_{train}$)上取得总体得分提升,还必须在独立的开发验证集($D_{dev}$)上保证性能完全不回退,否则直接被系统拒绝并回滚。

在长达 7 天的自主进化中,系统共调用了 224 个子智能体,经历了 123 轮递归优化,最终正式合并了 54 次系统级架构补丁,把初始脚手架的 49.00 分一路拉升到了惊人的 88.39 分。

为什么严肃的多模态设计必须是“写 HTML 代码”,而不是生成扩散图片?

Section titled “为什么严肃的多模态设计必须是“写 HTML 代码”,而不是生成扩散图片?”

在探讨 AutoDesign 的技术选型时,有一个极其关键的工程决断值得每一位 AI 开发者深思:为什么它坚持让智能体编写可编辑的 HTML/CSS,而不是直接调用 Midjourney、Flux 或 DALL-E 去生成一张海报图片?

很多初学者容易被文生图模型生成的炫酷效果所迷惑,但在严肃的工业级多模态交付场景中,直接生成位图存在着三大无法克服的死穴:

  1. 文字与数据的不可信:扩散模型在处理复杂长文本、严谨科学公式和微小图例时,天然存在字形扭曲和幻觉风险;
  2. 像素死图的不可修改性:如果审稿人或导师指出海报右下角的一组实验折线图需要替换,或者某行文字有拼写错误,基于图片的生成方案只能全盘重新抽卡,之前的所有排版瞬间作废;
  3. 缺乏程序化可审计性:无头浏览器可以毫秒级计算出 HTML 节点之间的像素级几何重叠、超出父容器的距离,OCR 引擎可以直接抓取文本与论文原文做精确字符对齐,而这些确定性的硬规则校验在单张位图上几乎无法实现。

正如我们在之前的文章《别再折腾花哨的 AI 技巧了:为什么 GitHub AI 负责人说 Harness 才是全部?》中所强调的:严肃 AI 应用的底层交付物,必须是结构化、分层级、天然支持版本控制与局部修改的代码资产。

通过将 HTML/CSS 作为中间表示,AutoDesign 赋予了智能体一种前所未有的“局部微创手术能力”——文字超长了就调小一个字号,图文间距挤了就加一层 Flex 间距,既保留了全局版式的稳定性,又实现了极致的像素级控制力。

普惠 7 款主流大模型:长程智能体告别“模型中心主义”

Section titled “普惠 7 款主流大模型:长程智能体告别“模型中心主义””

AutoDesign 最令人振奋的实验结果,在于它对异构大模型的通用赋能效应。

研究团队将进化成熟的 DesignHarness 挂载到 7 款完全不同的主流大模型与代码智能体组合上(涵盖 Claude 4.8、GPT-5.5 Codex、Kimi K2.7、字节 Seed 2.1 Pro、智谱 GLM 5.2、DeepSeek V4 Pro 以及美团自研的 LongCat 2.0)。

测试结果呈现出惊人的一致性:

  • 挂载 DesignHarness 后,所有 7 款模型的 PosterBench 综合得分全部实现了 5.0 到 19.6 分的断层式暴涨
  • 7 款模型的平均得分从原本裸跑的 54.99 分跃升至 67.39 分(平均涨幅达 +12.4%)
  • 其中提升最夸张的是开源的 DeepSeek V4 Pro,在挂载脚手架后,得分从及格线边缘的 34.73 分直接飙升至 54.29 分(提升 +19.56 分)
  • 成本效益同样惊人:基于美团 LongCat-2.0 模型并结合上下文缓存策略,生成单张顶级学术海报的成本仅为 $0.27 美元(约合人民币 2 元钱);即便是使用 GPT-5.5 跑满 253 次工具调用和 11 轮深度编辑,单次完整交付的总成本也被牢牢压制在 3 美元以内。

在对 11 位资深学者开展的 933 组完全双盲评审(System-Blind Human Evaluation)中,AutoDesign 获得了高达 64.0% 的压倒性胜率;当两张海报的分差大于 20 分时,人类专家与 PosterBench 自动评分的一致性高达 74.4%。

这一切事实都在向我们传递同一个清晰的行业信号:

正如我们在《Anthropic 这篇 context engineering 文章,真正把 prompt 赶下了主桌》《Subagent 不是运行加速器,而是主控 Working Memory 的防火墙》中所持续观察到的——AI 智能体的竞争主战场,正在从盲目的“模型中心主义”加速迈向清醒的“系统工程中心主义”。

模型的通用推理智力固然重要,但真正决定一个 AI 系统能否在长程、严肃、高容错要求的物理世界中交出工业级成果的,是包在模型外面的那套能够自我感知、自我审计、自我进化的运行时脚手架。

美团 AutoDesign 的这 54 次系统补丁,不仅为多模态学术海报立下了一座新标杆,更为所有正在探索 Long-Horizon Agent 的工程师们,照亮了一条确定性最高的自进化之路。

{在长程智能体开发中,你认为制约复杂多模态交付落地的最大卡点,是底层模型的推理智力,还是外部 Harness 系统的空间感知与工程闭环?欢迎在评论区分享你的实战体会。}