World Model(世界模型)
定义
World Model 是 AI 系统对外部环境、状态转移、因果关系和行动后果的内部表示。它让 Agent 不只是响应当前输入,而是能预测“如果我这么做,会发生什么”,并在长期任务中用新经验修正策略。
为什么重要
没有世界模型的 Agent 更像强大的反应器:它能根据当前上下文生成下一步,但很难稳定理解环境如何变化、哪些变量会造成后果、哪些经验应该迁移到未来任务。
持续学习需要世界模型作为承载对象。系统不是把每段历史原样存下来,而是要把经验压缩成对环境有预测力的结构:哪些行动有效,哪些约束稳定,哪些假设被实验推翻,哪些工具输出可信。
关键数据点
- Hassabis 认为当前 AGI 路线仍缺持续学习、长期推理和记忆;这些能力都依赖系统能形成可更新的世界模型。
- 更长上下文不等于世界模型。上下文是材料集合,世界模型是对材料背后因果结构的压缩。
- Gemini Omni 联合训练(Koray Kavukcuoglu, 2026-05):Gemini Omni 被定位为"真正的世界模型"——不是文本到视频的单向生成(如 Veo),而是联合训练理解物理、视觉、文本等多模态。过去复杂视频场景的前向一致性需要手动设计,现在"just by training at scale and mixing all the data, we're seeing these capabilities emerge"。
- 功能分类补充(Fei-Fei Li, 2026-06):world model 至少可拆成三种输出职责:renderer 输出 observation、simulator 输出 state、planner 输出 action;其中 simulator 是连接 render 和 plan 的结构中枢。
- 对 coding agent 来说,世界模型包括代码库结构、测试反馈、用户目标、部署环境和长期约束。
- 对科学发现 Agent 来说,世界模型包括实验结果、假设空间、目标函数、模拟器状态和工具可靠性。
- 世界模型必须与 工具使用架构结合:模型通过工具获得观测、执行实验、校验预测,而不是只在文本里想象。
科学 World Model 的最低可信合同:行为边界与不确定性校准(2026-10)
20261010-latentspace-biohub-deepmind-protein-folding 把“模型内部是否形成科学表示”和“研究者能否安全使用它”区分开来。Sal Candido 提到 protein language models 的内部表示里可以发现 structure、function、motion 等信息;但 Pushmeet Kohli 强调,即使模型整体预测精度很高,如果 uncertainty score 完全失准,用户仍可能把高置信错误当真并投入大量实验成本。
AlphaFold 的 pLDDT 因此提供了一个重要例子:对科学模型而言,知道模型在哪些地方值得信任,本身就是能力的一部分。用户未必需要理解每一层神经网络“为什么”产生结果,但必须知道它在什么输入分布、任务和置信区间内可靠,以及典型失败是什么。
判断:科学 world model / predictor 对外成为可行动工具前,最低合同至少包括:
capability boundary
+ calibrated uncertainty
+ known failure modes
+ reference / measurement provenance
+ external validation path这与 mechanistic interpretability 是不同问题。后者试图解释内部机制;前者是 operational trust contract。Mechanistic understanding 有价值,但不能替代 behavioral characterization;同样,confidence 字段存在也不等于已经校准。
- 证据:20261010-latentspace-biohub-deepmind-protein-folding(Transcript L148-L190)。Kohli 明确用“高结构精度但 pLDDT 完全失准”的反事实说明 uncertainty calibration 的必要性,并区分“人能否解释内部机制”与“用户是否理解模型 strengths / limitations”。
- 边界:本访谈没有提供 pLDDT calibration curve 或跨版本定量比较;“未来更大的模型可能解释较小模型”只是开放猜想,不能作为已验证的 interpretability 方法。
功能分类:renderer / simulator / planner
Fei-Fei Li 的分类让“世界模型”从一个过载热词变成可分析结构:
| 类型 | 主要输出 | 成功标准 |
|---|---|---|
| renderer | observation | 视觉保真、像不像人眼看到的世界 |
| simulator | state | 几何、物理、动力学是否结构正确 |
| planner | action | 给定观察与目标后,下一步行动是否合理 |
这组分类的价值在于,它把“会生成视频”“会模拟物理”“会规划动作”切回同一个 perception-action loop 中。不同系统可能共享底层知识,但对外暴露的契约并不相同。
其中最重要的判断是:simulator 是三者的桥。如果语言是对世界的抽象、像素是对世界的投影,那么几何、物理和动力学更接近世界的结构骨架。render 和 plan 最终都要依赖这层骨架。
Runway:从视觉真实到反事实真实(2026-09)
Runway 联合创始人 Anastasis Germanidis 把 video model 与 world model 的边界进一步推到 counterfactual fidelity:漂亮、连贯的视频仍可能通过训练分布捷径“cheat”;用于行动和机器人策略的 world model 必须在 action 改变时给出正确后果,尤其要能真实模拟失败,而不是总把轨迹补成最常见的成功结果(20260925-latentspace-runway-world-models,00:23:02–00:39:39;01:07:47–01:11:41)。
判断:World Model 的最低可信标准应从“观察像真”升级为三层一致性:observation realism + state-transition consistency + counterfactual failure fidelity。其中第三项决定模型是否真的能承担 simulator / policy-evaluation 角色,而不是高质量 renderer。
- 证据:20260925-latentspace-runway-world-models;访谈明确区分视觉上可信的视频与能对机器人失败、低概率动作后果做正确 rollout 的 world model,并提出 Lucid Dream Test 作为远期直觉测试。
- 边界:这是 Runway 的研究框架而非行业统一定义。访谈同时承认 JEPA、显式 3D、VLA、world-action model、teleoperation 与 internet-video-heavy 等路线仍在竞争;direct pixel prediction 是否足够仍是开放问题。
实时性是 simulator 的系统门槛
同一来源把 real-time generation 从产品体验问题提升为架构条件:Interface World Model 需要实时消费 click / drag / scroll 等 action,robotics world model 需要连续 rollout,面向 Agent 的环境还要支持高吞吐交互与强化学习。
判断:对交互式 world model 而言,latency 不是附属指标。模型只有从离线生成器压缩到可交互时延,才真正进入 software environment、agent training environment 和 embodied simulator 的角色。
- 证据:20260925-latentspace-runway-world-models(00:39:39–01:07:47);Runway 描述了 causal/autoregressive generation、step distillation、Interface World Model 与 GWM robotics 路线。
- 边界:实时化通常要付出质量或算力成本;Interface World Model 当前也远比传统 HTML/CSS UI 昂贵。低延迟本身不能证明物理正确性。
与相邻概念的边界
| 概念 | 区别 |
|---|---|
| 上下文窗口 | 当前可见材料;不自动形成稳定因果结构 |
| 记忆系统 | 保存过去经验;不保证经验能预测未来 |
| Continual-Learning | 更新机制;World Model 是被更新的内部结构之一 |
| Scientific-Discovery-AI | 应用场景;World Model 让科学 Agent 能连接实验、理论和工具结果 |
失败模式
- 原始记录堆积:系统保存了大量历史,但没有形成可预测的抽象。
- 错误模型固化:早期错误假设被长期记忆反复调用,导致后续决策持续偏斜。
- 局部世界过拟合:Agent 在一个项目或实验环境学到的规则,被错误迁移到另一种环境。
- 缺少外部校验:内部模型看似连贯,但没有用工具、实验、测试或现实反馈更新。
前提与局限性
- 开放世界任务中的世界模型只能是局部、可修正的近似,不能被当作完整真相。
- 世界模型质量取决于反馈质量;静态文本通常不足以学习可靠因果关系。
- unified world model 虽然是合理终点,但 3D/物理数据稀缺、sim-to-real gap 和生成几何错误仍是硬瓶颈。
- 强世界模型也可能带来风险:系统越会预测和规划,越需要权限、目标和安全边界。
关联概念
- Continual-Learning - 世界模型需要通过持续学习更新
- Tool-Use-Architecture - 工具调用为世界模型提供外部观测和校验
- Scientific-Discovery-AI - 科学发现场景需要连接实验、理论和状态转移
- Agent-Knowledge-Management - 外部知识层可作为世界模型的材料来源
- Unified-Model-Strategy - 统一模型战略为联合多模态训练提供组织基础
- Model-Distillation - 蒸馏能否传递世界模型(vs 只传递统计模式)是开放问题