85.8%、75.7%、70.0%:ProWAM 把「未来画面」从整段视频,压成了几个子目标
世界动作模型的老毛病是「要预测未来就得把整段视频生成出来」,长任务上算不动。ProWAM 换了个做法:只预测一串稀疏的视觉子目标,一次前向把特征缓存下来,重规划时只跑轻量去噪。零样本真机从 55% 提到 70%。
- 要解决的问题是算力而不是精度:现有世界动作模型(WAM)要生成长程任务,就得生成密集的视频 rollout,效率极低;改为只预测单张未来帧的做法,又丢掉了「怎么一步步走过去」。
- 做法:ProWAM 同时预测动作和一串有序的稀疏视觉子目标,给动作生成提供明确的视觉锚点;子目标预测可以从大规模无动作标签的视频里学习,等于把复杂的视觉规划从动作策略里卸载出去。
- 效率设计的核心:ProWAM 只做一次视频主干前向,把稀疏子目标特征缓存下来,从而免掉迭代式的全视频生成;重规划阶段只需轻量的动作去噪。
- 仿真基准成绩:LIBERO-Plus 85.8%、随机化 RoboTwin 75.7%,均为新的最优;相对最强基线最高提升 35.9%(相对值);RoboCasa365 成功率 48.1%,在更难的 Composite-Unseen 划分上 18.2%,总榜第 4。
- 零样本真机是关键字:在新场景的零样本真机实验中成功率 70.0%,比最强基线高 15.0 个百分点(55.0% → 70.0%,相对提升 27.3%)。
- 判断:这篇论文的价值不在单项分数,而在它给出了一条「世界模型不必生成整段视频也能引导动作」的工程路线——对算力预算有限的团队,这比刷高一个榜单更有用。
想预测未来,就得先把未来画出来——而画未来很贵
世界动作模型(World Action Model,WAM)这两年成为机器人控制的一条主线思路:不是直接从观察到动作,而是先预测「接下来世界会变成什么样」,再基于这个预测决定动作。直觉上这很合理——人做事也是先想结果再动手。
但工程上有个绕不过去的成本。要预测未来,最直接的做法是把未来的画面一段一段生成出来,这就是所谓密集的视频 rollout。对短任务还行,对长程任务就崩了:任务越长,需要生成的帧越多,算力需求近乎线性叠加,而重规划又要求你不断地重新生成。
近一年出现了一批折中方案:干脆只预测单张未来帧,不做完整视频生成。成本是降下来了,但代价也很明显——只告诉你终点长什么样,不告诉你中间怎么走。对于需要「先挪开障碍、再拿工具、最后放到架子上」这种多步任务,单张未来帧提供不了任何过程指引。
ProWAM 的选择正好卡在中间:不生成整段视频,也不只给一张图,而是给出一串按先后顺序排列的稀疏视觉子目标。稀疏意味着这些子目标之间有间隔,不需要逐帧;有序意味着它保留了「先到哪、再到哪」的过程信息。
一次前向 + 轻量去噪,把「重规划」的成本压下去
对闭环控制来说,最贵的从来不是第一次规划,而是第 N 次重规划。机器人每执行一小段动作,就要重新看一眼现场、重新决定接下来做什么。如果每次重规划都要重新生成视频,整个系统就跑不起来。
第四条是最有杠杆的一条:子目标预测可以从「无动作标注」的视频里学。这意味着互联网上大量的人类操作视频——没有关节角、没有动作序列、拿不到机器人真机数据的那一类——可以被用来训练视觉规划那一半。机器人真机数据依旧稀缺,但它是被用来训练动作侧,而不是被用来训练「世界会怎么变」。
把这个分工想清楚,就明白为什么这类方法对有交付压力的团队更有吸引力:贵的数据只用在非用不可的地方。
三个 80%/75%/70% 不在同一个坐标系里
回到数字。仿真侧,LIBERO-Plus 85.8%、随机化 RoboTwin 75.7%,两者都被作者称为新的最优,相对最强基线的最高相对增益是 35.9%。RoboCasa365 上成功率 48.1%,在最难的 Composite-Unseen 划分上是 18.2%,总榜排第 4。
这里有两个必须说清楚的读法。
第一,同一篇论文里最高的数字,不一定是最有意义的数字。85.8% 出现在 LIBERO-Plus 上,这是一个已被反复刷过的基准;真正能反映泛化能力的是 Composite-Unseen 上的 18.2%——「未见过的组合」意味着训练里没有出现过这种任务搭配,而在这个划分上模型只能做到不到两成。同一套系统在两个划分上有 30 个百分点的落差,说明它仍然高度依赖「见过的组合」。
第二,55.0% 到 70.0% 这段提升要放在「零样本」三个字后面读。零样本的意义是新场景不做任何微调,这对交付方是关键指标——因为现场没有条件给你采数据重训。但摘要中没有给出这次真机实验的机器人本体、任务数量与试验次数,所以 70.0% 只能作为方向性结论,不能与其它论文的数字直接比。
把「长任务」的算力账提前算出来
这类方法最有价值的启发,不是某个具体网络结构,而是它把「长程任务」的成本结构摆到了台面上。
一台机器人在真实场景里干活,最典型的失败不是某一步做错,而是一整条任务链在中途断掉。任务链越长,需要的重规划次数越多,每次重规划的延迟都会累积成肉眼可见的卡顿。从这个角度说,「能完成长任务」本质上是一个延迟工程问题,而不只是模型能力问题。
对做项目交付的团队而言,这意味着在方案阶段就该问三个问题:一次重规划要多少毫秒、一台设备上能不能本地跑、以及当算力不够时能不能只降级视觉规划而不影响动作输出。第三个问题的答案,决定了这套系统在边缘硬件上有没有退路。