跳转到内容
导航
模型与研究

Dyna-2 的百万小时,如何变成机器人的动作

Dyna-2 把人类视频预训练、机器人示范、机体设计和本地推理连在一起;未来视频预测参与训练,动作推理时读取的则是当前观测。

Latent.Space 这期访谈里,Dyna Robotics 联合创始人 Jason Ma 一边谈洗衣、餐巾和切菜,一边解释 Dyna-2 的训练与部署。演示很容易让人盯着机器人手臂看:动作够不够稳,抓取够不够准。听到后半段,我更想追问另一件事:人类做事的经验,究竟怎样变成一台具体机器人的动作?

访谈把 Dyna-2 放进一条完整的工作链里:人类视频提供操作先验,机器人示范适配机体,本地推理接住现场动作,高层系统再把短操作组织成长流程。读到模型细节时,我还发现,访谈里的直观类比需要再校准一下。

Dyna-2 从人类视频、机器人示范到现场工作的训练与部署闭环

百万小时之外,还有一道身体的距离

Section titled “百万小时之外,还有一道身体的距离”

Dyna 的官方文章称,Dyna-2 用超过一百万小时的第一视角人类视频预训练。视频里有做饭、收拾、折叠等动作,能给模型大量关于手、物体和场景怎样变化的例子。人类视频覆盖的场景很广,画面本身却不会自动变成某台机器人的关节命令。

官方技术文章还描述了他们如何从通过筛选的视频中提取手部轨迹,并把手腕运动和拇指、食指间距转成动作监督。换句话说,预训练并非简单把视频丢给模型,再期待机器人自己懂得怎么动。团队还要决定哪些画面可信、身体姿态怎样表示,以及这些信号怎样对齐到动作。

从第一视角视频提取手部轨迹并形成动作监督

Ma 在访谈里也承认,人类和机器人之间有“具身差异”。人的手臂、腰部和手掌比例,与机器人不同;人的动作还依赖视觉之外的感觉。人类视频可以教模型物体通常怎样被拿起、摆放和折叠。要把洗衣机里的毛巾放进烘干机,机器人仍需要来自自身硬件的示范。预训练给出操作先验,任务适配还得继续。

Dyna 把机器人形态和数据策略放在一起设计:它保留类似人的上身和腰部活动能力,同时用轮子作为底盘。Ma 解释,腰部自由度让机器人更接近人平时取物、弯腰的动作;轮式底盘则是在能耗、稳定性和实用性之间做取舍。数据要对齐到动作,硬件也得有能力执行。

访谈把 world-action model 解释成既能预测未来画面、又能输出机器人动作的模型。Ma 还把画面预测比作机器人在视觉和物理空间里的 chain of thought。这个比喻容易理解;若把它理解为机器人每次都先生成一段未来视频,再照着执行,就会误解 Dyna-2 的推理方式。

Dyna 的技术文章给出了更精确的说法:模型用视频预测和动作预测共同训练,二者共享部分表征;动作分支读取的是当前观察到的视频上下文和机器人的本体状态。文章明确说,推理时的动作策略不会生成、也不会读取预测出来的未来视频作为动作输入。模型有未来视频预测能力,不等于每次控制都经过显式的视频规划。

Dyna-2 训练目标与推理输入的区别

我读技术文章时,真正想划线的是这层区别:世界预测可以在训练中帮助模型学到物体、接触和动作之间的关系,运行时动作策略读取的却是观测上下文。Dyna 官方文章报告了特定的机器人数据评测范围:39 项任务、两种固定式双臂平台。这比单个演示多了一层系统性证据,结论仍然受任务和平台范围约束。

我在《WorldPrompt 的时间轴,能留下多少世界状态?》里写过 Runway 的交互式视频模型。当时我关心的是生成画面能否在多轮动作后保持状态;Dyna 这期访谈把问题推进到另一处:动作模型如何从视频表征中获得物理操作能力,又怎样与真实机体配合。都在谈“世界”,落到评估时要问的问题却不同。

硬件既是执行器,也是数据接口

Section titled “硬件既是执行器,也是数据接口”

Dyna 把执行器、身体比例和推理栈纳入自己的研发范围。Ma 说,执行器会影响机器人能否被准确建模,也影响模拟和真实控制之间是否对得上;成熟的激光雷达和部分相机则可以直接采购。自研与采购的分界,落在组件对最终任务表现的影响上。

这条路线也有明显代价。访谈提到,灵巧手的耐用性和散热仍会拖慢研究;Ma 也提出,视觉之外的触觉和声音会进入人的操作判断。如果采集不到这些信号,再扩大视觉数据仍可能漏掉影响任务的物理信息。机器人能稳定执行什么,也受硬件限制。

人类视频规模扩大后,身体结构、传感器和动作空间的差异仍要靠数据与硬件设计弥合。Dyna 选择让机器人形态靠近人类操作环境,再用机器人示范处理剩余差异。这是一种有明确工程取舍的路线,访谈和公司文章尚不足以证明它适用于所有任务。

人类动作和机器人机体之间的数据迁移差异

一小时自主,靠的是模型之外的组织

Section titled “一小时自主,靠的是模型之外的组织”

访谈里,Ma 说机器人已经能把完整洗衣流程做到小时量级。这里的重点不是把一条长动作序列拉长,而是工作流本身包含等待和切换:洗衣机运行时,机器人可以先去做别的事;设备完成后,再回来转移衣物。只靠一个持续输出低层动作的策略,很难高效地安排这些步骤。

因此 Dyna 在世界动作模型外,还使用更高层的 agentic harness 做任务编排:决定当前该做哪一步、何时等待、任务完成后如何继续。底层模型负责连续的身体控制,高层系统组织长任务。由于机器人必须及时响应,Ma 也强调部署模型需要能在本地快速运行,不能把网络往返延迟当作无关紧要的成本。

小时级洗衣工作流中的高层编排与低层控制

“长时间运行”不能单独证明模型已经解决长程自主。长工作流还取决于步骤安排、状态判断、故障恢复和现场干预。访谈提到 Dyna 在餐厅折叠餐巾等客户应用,却没有给出足以独立评估的长期成功率、人工介入频次或维护成本。客户扩展部署是一个信号,系统是否站稳还要看运营数据。

接下来要看迁移成本能否一起下降

Section titled “接下来要看迁移成本能否一起下降”

Dyna-2 让我把机器人基础模型看成一套系统工程:训练数据决定模型见过哪些物理变化,硬件决定它能否复现动作,推理速度影响它能否接住现场变化,高层 harness 则把单步能力串成长工作。任何一层掉队,前面的进展都可能无法转成客户价值。

接下来我会看几项指标:换一个新任务还要收集多少机器人数据;长流程里需要多少人工接管;把模型部署到更多地点后,性能、维护和收益能否保持稳定。百万小时说明了预训练数据规模,迁移和部署成本才会决定这套方法能不能持续扩展。

部署后仍需持续观察的新任务数据、人工接管和多站点运营问题