研究解读 · 神机百见-具身解读

97.2% 的轨迹算对了,66.7% 的活干成了:中间那 30 个点花在机械臂上

RoboScience 的 WorldFlow 把三维运动和视频放在同一个生成过程里预测,17 个数据源、约 144 万条样本训练。真机上它把「生成正确轨迹」的概率从 25.0% 拉到 97.2%,把「操作成功」从 11.1% 拉到 66.7%。两个数字差 30.5 个百分点——预测对了不等于执行对了,这 30 个点才是这条路线现在真正的定价点。

一分钟速览
  1. 方法:把三维运动当作与视频并列的独立生成模态,在同一生成过程里同步预测未来画面与物体三维轨迹,不再走「先生成视频、再从像素里反推轨迹」的两段路。
  2. 数据:整合仿真、机器人操作、人类操作共 17 个数据源,构建约 144 万条训练样本;每条样本同时带操作视频与被操作物体的三维轨迹。
  3. 消融:与「只预测三维运动、不生成视频」的同架构变体相比,加入视频监督后 ADE 在仿真/真实/空间认知三个场景分别降 48.5%/19.8%/55.9%,FDE 降 54.4%/25.7%/68.5%。
  4. 真机:12 项抓放、堆叠、相对摆放任务,与 μ₀ 共用同一套抓取与控制系统,生成正确轨迹的概率 25.0% → 97.2%,真机操作成功率 11.1% → 66.7%。
  5. 关键落差:轨迹 97.2% 对成功率 66.7%,差 30.5 个百分点。这一段不在世界模型里,在抓取与控制的适配里。
  6. 判断:把「物体该怎么动」当成跨本体的规划接口,比把「未来画面长什么样」当接口更接近可交付,但代价是模型必须相信自己的轨迹,而机械臂未必跟得上。
数据来源与边界
主源为 2026-11-20 16:21 机器之心 Pro 发布的解读稿(网易转载地址 网易 ↗ ),稿件披露论文题名、arXiv 编号 2610.39278(https://arxiv.org/abs/2610.39278 )与项目页 worldflow-rbs.github.io。素材时间窗为当日 09:00 → 19:00,该解读稿落在窗口内,属窗口内条目;但需说明一点:arXiv 编号 2610.39278 对应 2026 年 10 月的投稿批次,论文本身并非本窗口新挂出,本窗口内新增的是中文媒体解读与更完整的实验细节,这一点与前几日本号拆解的 Z-sight(2611.24940)、Phoenix(2611.24938)两篇「当日挂网」的情形不同,属规则二「近 3 日行业进展的补充解读」,差异在于本篇处理的是世界模型与执行之间的接口位置,不是又一次成功率排序。核查方式与边界:①17 个数据源、144 万条样本、ADE/FDE 降幅、25.0%→97.2%、11.1%→66.7% 全部引自该解读稿转述的论文自报数据,本号未读论文原文,未获第三方复现,属单一信源;②「12 项任务」为任务数,不是试验次数,66.7% 对应的具体分母(每项几次、失败判定标准)本篇未核,故本文不对 66.7% 做置信区间估计,避免像 11-20 上午批那样在没有 n 的情况下硬算;③μ₀ 为论文选取的对照模型,其原论文成绩本号未独立核对;④「正确轨迹概率」的口径(判定为「对」的距离阈值或成功率定义)本篇未见说明,仅按原文表述引用。与本号 2026-11-20《44 次成功、60 次试验》(Z-sight)的差异:那篇讨论的是单个 VLA 模型的抽样统计,本篇讨论的是世界模型的预测精度与执行成功率之间的落差。全部判断以「判断:」开头。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。

先把两个数并排放在一起:97.2% 和 66.7%。

前者是 WorldFlow 生成「正确三维轨迹」的概率,后者是它在真机上把 12 项任务做成的比例。同一个系统、同一批任务、同一套抓取与控制系统,前者比后者高 30.5 个百分点。

这 30.5 个百分点,是这篇工作最值得读的地方。它把「想对了」和「做成了」之间的距离,第一次用两个可以对齐的数摆了出来——而这个距离,恰恰是所有人形机器人进厂时真正卡住的位置。

一、它绕开了两条现成的路

机器人要「预见未来」,过去有两条路,各有各的坑。

第一条是视频生成:拿海量视频训练一个能画出「下一秒画面」的模型,再从画出来的像素里,靠几何重建和运动跟踪去反推物体的三维位移。问题是误差会累积——第一帧偏两厘米,第十帧可能偏二十厘米,而抓取需要的精度是毫米级。而且画面里大量像素对操作毫无意义:桌上地毯的花纹、墙上海报的字,模型照样要花算力去画。

第二条是直接预测三维轨迹,跳过画面。这条路干净,但它丢掉了物理世界的视觉信号——模型不知道两个物体是怎么接触的、哪里会打滑、遮挡关系怎么变化。缺少这些,预测在一张新桌子上就失效。

WorldFlow 的做法是把两条路并起来:让三维运动和视频在同一个生成过程里同时去噪。视频分支提供外观、接触、遮挡这些视觉线索,运动分支提供空间位移,两边的信息通过双向注意力交换。为了让模型知道「哪个三维点对应画面里的哪个像素」,团队加了两套编码:三维点几何编码管空间位置关系,时空位置编码管轨迹与画面的对应。

这里有个容易被忽略的设计选择:它没有把三维运动做成视频的「副产品」,而是做成与视频并列的独立生成模态。差别在于,副产品要靠解码器从画面里抠出来,独立模态则是模型直接从数据里学的。前者是工程,后者是学习。

二、消融实验里最硬的一组数

论文做了两组对照,都值得摆出来。

第一组:把「生成视频」这一路拿掉,其它架构、数据、超参全不变,只预测三维运动。结果很直接——视频监督这一路不是装饰,它把轨迹预测精度拉高了一大截。

空间认知 ADE
-55.9%
仿真 ADE
-48.5%
真实 ADE
-19.8%
加入视频监督后,三维轨迹预测误差(ADE)的降幅;FDE 降幅同序为 68.5%/54.4%/25.7%。数据为论文自报,抓取日期 2026-11-20。

三个场景里,真实场景只降了 19.8%,是三者中最小的。这个数比另外两个更值得注意:仿真和空间认知场景里,视频监督带来的收益接近一半以上;到了真实场景,收益掉到两成。原因不难猜——真实场景的接触、形变、摩擦,比仿真难预测得多,视频能提供的线索也最模糊。

第二组更狠:拿它跟「先生成视频、再用 Track4World 之类方法跟踪轨迹」的两阶段方案比。ADE 在三个场景分别降 42.0%/19.0%/27.7%,FDE 降 46.0%/26.6%/43.5%。也就是说,两阶段方案那条看起来更稳妥的路,在真实场景同样只有 19% 的优势——和一阶段方案打平在同一个数字上。

判断:真实场景那 19% 是个天花板信号。三个场景里,仿真与空间认知都能靠视频监督拿到 48% 以上的改善,唯独真实场景卡在两成——这说明「视频里能学到的物理」,和「真实世界里决定成败的物理」,中间还有一段没被覆盖。这一段大概率是力、摩擦、形变,也正是触觉传感这两年重新变热的原因。
三、97.2% 到 66.7%,那 30 个点在谁手里

真机实验设了 12 项任务,覆盖三类能力:抓取放置、物体堆叠、相对摆放。模型和对照模型 μ₀ 使用同一套抓取与控制系统——这个前提很关键,它把变量锁在了「预测」这一层。

生成正确轨迹的概率

μ₀ 25.0%
WorldFlow 97.2%
提升 3.9 倍

真机操作成功率

μ₀ 11.1%
WorldFlow 66.7%
提升 6.0 倍

两组数都在涨,但涨法不一样。轨迹概率从四分之一涨到接近满分,等于说「物体该往哪走」这个问题基本被解决了;成功率从九分之一涨到三分之二,等于说「把它送到那儿」这个问题解决了六成。

剩下的三成卡在哪?论文没拆。但可以按工程常识列一遍:抓取点选得对不对、夹爪开合时机、腕部姿态能不能跟上预测轨迹、碰撞检测有没有提前介入、以及最要命的——预测是按物体质心算的,实际抓的是物体的一个面,质心轨迹对了,夹持点未必对。

更值得注意的是成功率 66.7% 这个数本身:每三次里还有一次失败。这个水平放在实验室是突破,放在产线上是不能交付。一条一天跑五百次的产线,三分之一的失败率意味着每小时三十多次干预。

判断:把 97.2% 和 66.7% 之间的 30.5 个百分点单独拿出来看,它其实是「世界模型」这个品类当前的真实定价点。谁能在不换模型的前提下把这 30 个点吃掉一半,谁就拿到了从演示走向交付的钥匙——而这部分工作大概率不在模型里,在末端执行器和力控里。
四、144 万条样本买的是什么

数据侧的数字是 17 个数据源、约 144 万条训练样本。每条样本包含两样东西:一段任务指令下的操作视频,和被操作物体在三维空间里的运动轨迹。

这个「每条样本都必须带轨迹」的要求,把可用数据的门槛抬得很高。网上现成的操作视频有几千万条,但绝大多数没有对应的三维标注——你不知道视频里那只手到底把杯子挪了多少厘米、走了哪条弧线。所以 144 万条这个数,看着不算大,实际是从更庞大的池子里筛出来的,靠的是仿真合成、机器人遥操作采集、以及人类操作视频的自动标注三条管道。

17 个数据源混在一起训练,有个副作用值得记一笔:不同来源的轨迹坐标系、采样率、标注噪声都不一样。模型要在这种混杂里学出一个统一的三维运动先验,本身就带着正则化的意味——这大概是它在真实场景也能零样本跑起来的原因之一。

论文给的应用示例是「把绿色饼干盒放在半透明盒子上」:模型预测盒子的移动轨迹与落点,机器人再结合自身臂展、关节约束和抓取方式规划动作。这个流程里,预测输出的不是画面,是一个目标点序列——接口变了,下游才能接。

判断:把「物体三维轨迹」当成跨本体的规划接口,是个比「未来视频」更实用的选择。同一个任务,轮式底盘和双足平台可以共享同一个物体运动目标,各自用自己的控制去实现。这对做多机型交付的团队有直接意义:模型换一次,接口不用跟着换。
五、读这篇该带走什么

三条。

第一,看世界模型的论文,先找「预测精度」和「执行成功率」两个数,别只看前者。只报预测精度的,等于只报了半个结果;两个都报且落差明确的,才值得花时间读方法。

第二,看消融时分场景看。仿真、真实、空间认知三个场景的降幅差三倍,说明模型的强项集中在「有清晰几何线索」的场景。真实场景那 19% 才是它现在的能力刻度。

第三,别把 66.7% 当成「快能用了」。三分之一的失败率,在展厅里叫亮点,在产线上叫停线。判断一项具身技术能不能进厂,先问它有没有给出连续运行的小时数和人工干预率——这两个数,这篇论文没有。

来源:论文 arXiv:2610.39278;中文解读见机器之心 Pro,2026-11-20 16:21。全部成功率与误差降幅为团队自报,未经第三方复现。