97.2% 的轨迹算对了,66.7% 的活干成了:中间那 30 个点花在机械臂上
RoboScience 的 WorldFlow 把三维运动和视频放在同一个生成过程里预测,17 个数据源、约 144 万条样本训练。真机上它把「生成正确轨迹」的概率从 25.0% 拉到 97.2%,把「操作成功」从 11.1% 拉到 66.7%。两个数字差 30.5 个百分点——预测对了不等于执行对了,这 30 个点才是这条路线现在真正的定价点。
- 方法:把三维运动当作与视频并列的独立生成模态,在同一生成过程里同步预测未来画面与物体三维轨迹,不再走「先生成视频、再从像素里反推轨迹」的两段路。
- 数据:整合仿真、机器人操作、人类操作共 17 个数据源,构建约 144 万条训练样本;每条样本同时带操作视频与被操作物体的三维轨迹。
- 消融:与「只预测三维运动、不生成视频」的同架构变体相比,加入视频监督后 ADE 在仿真/真实/空间认知三个场景分别降 48.5%/19.8%/55.9%,FDE 降 54.4%/25.7%/68.5%。
- 真机:12 项抓放、堆叠、相对摆放任务,与 μ₀ 共用同一套抓取与控制系统,生成正确轨迹的概率 25.0% → 97.2%,真机操作成功率 11.1% → 66.7%。
- 关键落差:轨迹 97.2% 对成功率 66.7%,差 30.5 个百分点。这一段不在世界模型里,在抓取与控制的适配里。
- 判断:把「物体该怎么动」当成跨本体的规划接口,比把「未来画面长什么样」当接口更接近可交付,但代价是模型必须相信自己的轨迹,而机械臂未必跟得上。
先把两个数并排放在一起:97.2% 和 66.7%。
前者是 WorldFlow 生成「正确三维轨迹」的概率,后者是它在真机上把 12 项任务做成的比例。同一个系统、同一批任务、同一套抓取与控制系统,前者比后者高 30.5 个百分点。
这 30.5 个百分点,是这篇工作最值得读的地方。它把「想对了」和「做成了」之间的距离,第一次用两个可以对齐的数摆了出来——而这个距离,恰恰是所有人形机器人进厂时真正卡住的位置。
机器人要「预见未来」,过去有两条路,各有各的坑。
第一条是视频生成:拿海量视频训练一个能画出「下一秒画面」的模型,再从画出来的像素里,靠几何重建和运动跟踪去反推物体的三维位移。问题是误差会累积——第一帧偏两厘米,第十帧可能偏二十厘米,而抓取需要的精度是毫米级。而且画面里大量像素对操作毫无意义:桌上地毯的花纹、墙上海报的字,模型照样要花算力去画。
第二条是直接预测三维轨迹,跳过画面。这条路干净,但它丢掉了物理世界的视觉信号——模型不知道两个物体是怎么接触的、哪里会打滑、遮挡关系怎么变化。缺少这些,预测在一张新桌子上就失效。
WorldFlow 的做法是把两条路并起来:让三维运动和视频在同一个生成过程里同时去噪。视频分支提供外观、接触、遮挡这些视觉线索,运动分支提供空间位移,两边的信息通过双向注意力交换。为了让模型知道「哪个三维点对应画面里的哪个像素」,团队加了两套编码:三维点几何编码管空间位置关系,时空位置编码管轨迹与画面的对应。
这里有个容易被忽略的设计选择:它没有把三维运动做成视频的「副产品」,而是做成与视频并列的独立生成模态。差别在于,副产品要靠解码器从画面里抠出来,独立模态则是模型直接从数据里学的。前者是工程,后者是学习。
论文做了两组对照,都值得摆出来。
第一组:把「生成视频」这一路拿掉,其它架构、数据、超参全不变,只预测三维运动。结果很直接——视频监督这一路不是装饰,它把轨迹预测精度拉高了一大截。
三个场景里,真实场景只降了 19.8%,是三者中最小的。这个数比另外两个更值得注意:仿真和空间认知场景里,视频监督带来的收益接近一半以上;到了真实场景,收益掉到两成。原因不难猜——真实场景的接触、形变、摩擦,比仿真难预测得多,视频能提供的线索也最模糊。
第二组更狠:拿它跟「先生成视频、再用 Track4World 之类方法跟踪轨迹」的两阶段方案比。ADE 在三个场景分别降 42.0%/19.0%/27.7%,FDE 降 46.0%/26.6%/43.5%。也就是说,两阶段方案那条看起来更稳妥的路,在真实场景同样只有 19% 的优势——和一阶段方案打平在同一个数字上。
真机实验设了 12 项任务,覆盖三类能力:抓取放置、物体堆叠、相对摆放。模型和对照模型 μ₀ 使用同一套抓取与控制系统——这个前提很关键,它把变量锁在了「预测」这一层。
μ₀ 25.0%
WorldFlow 97.2%
提升 3.9 倍
μ₀ 11.1%
WorldFlow 66.7%
提升 6.0 倍
两组数都在涨,但涨法不一样。轨迹概率从四分之一涨到接近满分,等于说「物体该往哪走」这个问题基本被解决了;成功率从九分之一涨到三分之二,等于说「把它送到那儿」这个问题解决了六成。
剩下的三成卡在哪?论文没拆。但可以按工程常识列一遍:抓取点选得对不对、夹爪开合时机、腕部姿态能不能跟上预测轨迹、碰撞检测有没有提前介入、以及最要命的——预测是按物体质心算的,实际抓的是物体的一个面,质心轨迹对了,夹持点未必对。
更值得注意的是成功率 66.7% 这个数本身:每三次里还有一次失败。这个水平放在实验室是突破,放在产线上是不能交付。一条一天跑五百次的产线,三分之一的失败率意味着每小时三十多次干预。
数据侧的数字是 17 个数据源、约 144 万条训练样本。每条样本包含两样东西:一段任务指令下的操作视频,和被操作物体在三维空间里的运动轨迹。
这个「每条样本都必须带轨迹」的要求,把可用数据的门槛抬得很高。网上现成的操作视频有几千万条,但绝大多数没有对应的三维标注——你不知道视频里那只手到底把杯子挪了多少厘米、走了哪条弧线。所以 144 万条这个数,看着不算大,实际是从更庞大的池子里筛出来的,靠的是仿真合成、机器人遥操作采集、以及人类操作视频的自动标注三条管道。
17 个数据源混在一起训练,有个副作用值得记一笔:不同来源的轨迹坐标系、采样率、标注噪声都不一样。模型要在这种混杂里学出一个统一的三维运动先验,本身就带着正则化的意味——这大概是它在真实场景也能零样本跑起来的原因之一。
论文给的应用示例是「把绿色饼干盒放在半透明盒子上」:模型预测盒子的移动轨迹与落点,机器人再结合自身臂展、关节约束和抓取方式规划动作。这个流程里,预测输出的不是画面,是一个目标点序列——接口变了,下游才能接。
三条。
第一,看世界模型的论文,先找「预测精度」和「执行成功率」两个数,别只看前者。只报预测精度的,等于只报了半个结果;两个都报且落差明确的,才值得花时间读方法。
第二,看消融时分场景看。仿真、真实、空间认知三个场景的降幅差三倍,说明模型的强项集中在「有清晰几何线索」的场景。真实场景那 19% 才是它现在的能力刻度。
第三,别把 66.7% 当成「快能用了」。三分之一的失败率,在展厅里叫亮点,在产线上叫停线。判断一项具身技术能不能进厂,先问它有没有给出连续运行的小时数和人工干预率——这两个数,这篇论文没有。