研究解读 · 神机百见-具身解读

85.8%、75.7%、70.0%:ProWAM 把「未来画面」从整段视频,压成了几个子目标

世界动作模型的老毛病是「要预测未来就得把整段视频生成出来」,长任务上算不动。ProWAM 换了个做法:只预测一串稀疏的视觉子目标,一次前向把特征缓存下来,重规划时只跑轻量去噪。零样本真机从 55% 提到 70%。

本篇目录4 节 · 8
一分钟速览
  1. 要解决的问题是算力而不是精度:现有世界动作模型(WAM)要生成长程任务,就得生成密集的视频 rollout,效率极低;改为只预测单张未来帧的做法,又丢掉了「怎么一步步走过去」。
  2. 做法:ProWAM 同时预测动作和一串有序的稀疏视觉子目标,给动作生成提供明确的视觉锚点;子目标预测可以从大规模无动作标签的视频里学习,等于把复杂的视觉规划从动作策略里卸载出去。
  3. 效率设计的核心:ProWAM 只做一次视频主干前向,把稀疏子目标特征缓存下来,从而免掉迭代式的全视频生成;重规划阶段只需轻量的动作去噪。
  4. 仿真基准成绩:LIBERO-Plus 85.8%、随机化 RoboTwin 75.7%,均为新的最优;相对最强基线最高提升 35.9%(相对值);RoboCasa365 成功率 48.1%,在更难的 Composite-Unseen 划分上 18.2%,总榜第 4。
  5. 零样本真机是关键字:在新场景的零样本真机实验中成功率 70.0%,比最强基线高 15.0 个百分点(55.0% → 70.0%,相对提升 27.3%)。
  6. 判断:这篇论文的价值不在单项分数,而在它给出了一条「世界模型不必生成整段视频也能引导动作」的工程路线——对算力预算有限的团队,这比刷高一个榜单更有用。
数据来源与边界
素材时间窗为当日 09:00 → 19:00(北京时间,2026-10-05)。事实锚点为一篇 arXiv 新提交的预印本:《World Action Modeling with Progressive Visual Planning》,编号 arXiv:2610.02508v1,Announce Type 标记为 new,项目主页为 sii-ferenas.github.io ↗。已核对的事实包括:ProWAM 同时预测动作与一个有序的稀疏视觉子目标序列;该设计可从大规模无动作标注视频中学习子目标预测,从而让视频主干承担视觉规划、把动作策略解放出来;推理时执行单次视频主干前向并缓存稀疏子目标特征,避免迭代式全视频生成,重规划阶段只做轻量动作去噪;仿真结果 LIBERO-Plus 85.8%、随机化 RoboTwin 75.7%(作者称为新的 state-of-the-art,相对最强基线最高 +35.9% 相对增益)、RoboCasa365 48.1% 成功率与 Composite-Unseen 18.2%(总榜第 4);零样本真机实验 70.0%,较最强基线 55.0% 提升 +15.0 个百分点(相对 +27.3%)。需切开的边界:本号仅读到摘要与项目主页层面的信息,未获得论文正文、附录与消融表,因此无法确认「+35.9%」是相对哪个具体基线、也无法确认各基准的成绩是否来自同一组推理设置;摘要未披露团队所属机构与作者名单,本号不对机构归属作任何推断;「零样本真机」的机器人本体型号、任务数量、试验次数与统计口径均未在已获取材料中出现,70.0% 这一数字应按「单次数汇报」处理,不作横向比较;训练数据规模亦未披露。此外需与站内既有研究解读区分:早前的 RPent 稿件引用的是 LIBERO-PRO 基准,本篇为 LIBERO-Plus,两者不是同一套评测,分数不可互相印证;与 StageCraft 稿件的差异在于,那篇处理的是「环境引起的失败」,本篇处理的是「长程视觉规划的成本」。判断题均为作者分析,已用「判断:」标注。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。
1世界动作模型的老问题

想预测未来,就得先把未来画出来——而画未来很贵

世界动作模型(World Action Model,WAM)这两年成为机器人控制的一条主线思路:不是直接从观察到动作,而是先预测「接下来世界会变成什么样」,再基于这个预测决定动作。直觉上这很合理——人做事也是先想结果再动手。

但工程上有个绕不过去的成本。要预测未来,最直接的做法是把未来的画面一段一段生成出来,这就是所谓密集的视频 rollout。对短任务还行,对长程任务就崩了:任务越长,需要生成的帧越多,算力需求近乎线性叠加,而重规划又要求你不断地重新生成。

近一年出现了一批折中方案:干脆只预测单张未来帧,不做完整视频生成。成本是降下来了,但代价也很明显——只告诉你终点长什么样,不告诉你中间怎么走。对于需要「先挪开障碍、再拿工具、最后放到架子上」这种多步任务,单张未来帧提供不了任何过程指引。

密集视频 rollout:过程信息完整,算力成本高。长程任务上不可行。
单张未来帧:算力便宜,只给终点,缺少过程锚点。多步任务上指引不足。
ProWAM 的第三选项:一串有序的稀疏子目标。既有过程顺序,又不必生成每一帧。

ProWAM 的选择正好卡在中间:不生成整段视频,也不只给一张图,而是给出一串按先后顺序排列的稀疏视觉子目标。稀疏意味着这些子目标之间有间隔,不需要逐帧;有序意味着它保留了「先到哪、再到哪」的过程信息。

判断:这个设计真正的巧处在于它把「视觉规划」和「动作生成」的责任分开了。视频主干负责回答「大概要经过哪几个画面」,动作策略只负责回答「为了到达下一个画面,这一秒该输出什么」。责任一分开,两边就都可以独立优化和独立换件。
2省下来的钱花在哪

一次前向 + 轻量去噪,把「重规划」的成本压下去

对闭环控制来说,最贵的从来不是第一次规划,而是第 N 次重规划。机器人每执行一小段动作,就要重新看一眼现场、重新决定接下来做什么。如果每次重规划都要重新生成视频,整个系统就跑不起来。

第一步
视频主干只做一次前向,把稀疏子目标的特征算出来直接缓存。
第二步
动作生成读取缓存的特征,不再重复做全视频生成。
第三步
执行一小段后重新观察,重规划时仅做轻量动作去噪,不重跑视频主干。
第四步
子目标预测本身可从无动作标签的大规模视频里学,不需要机器人动作数据。

第四条是最有杠杆的一条:子目标预测可以从「无动作标注」的视频里学。这意味着互联网上大量的人类操作视频——没有关节角、没有动作序列、拿不到机器人真机数据的那一类——可以被用来训练视觉规划那一半。机器人真机数据依旧稀缺,但它是被用来训练动作侧,而不是被用来训练「世界会怎么变」。

把这个分工想清楚,就明白为什么这类方法对有交付压力的团队更有吸引力:贵的数据只用在非用不可的地方。

判断:模型架构上「谁学什么」的分工,往往比参数规模更能决定落地成本。如果一个系统的视觉规划部分能用公开视频预训练、只有动作部分需要真机数据,那么它的边际成本曲线和纯真机遥操作路线是完全不同的两条线。
3分数怎么读

三个 80%/75%/70% 不在同一个坐标系里

回到数字。仿真侧,LIBERO-Plus 85.8%、随机化 RoboTwin 75.7%,两者都被作者称为新的最优,相对最强基线的最高相对增益是 35.9%。RoboCasa365 上成功率 48.1%,在最难的 Composite-Unseen 划分上是 18.2%,总榜排第 4。

LIBERO-Plus
85.8%
随机化 RoboTwin
75.7%
零样本真机(新场景)
70.0%
RoboCasa365
48.1%
RoboCasa365 · Composite-Unseen
18.2%
五项分属三套互不相通的评测(LIBERO-Plus / RoboTwin / RoboCasa365 与真机),不可相加、不可取平均,也不代表同一任务的难度梯度。

这里有两个必须说清楚的读法。

第一,同一篇论文里最高的数字,不一定是最有意义的数字。85.8% 出现在 LIBERO-Plus 上,这是一个已被反复刷过的基准;真正能反映泛化能力的是 Composite-Unseen 上的 18.2%——「未见过的组合」意味着训练里没有出现过这种任务搭配,而在这个划分上模型只能做到不到两成。同一套系统在两个划分上有 30 个百分点的落差,说明它仍然高度依赖「见过的组合」。

第二,55.0% 到 70.0% 这段提升要放在「零样本」三个字后面读。零样本的意义是新场景不做任何微调,这对交付方是关键指标——因为现场没有条件给你采数据重训。但摘要中没有给出这次真机实验的机器人本体、任务数量与试验次数,所以 70.0% 只能作为方向性结论,不能与其它论文的数字直接比。

判断:看这类论文,先做三件事——把不同基准的分数分开摆、把同一基准的不同划分分开摆、把零样本和微调分开摆。这三步不做完,任何一个百分数都可能被读成它承载不了的意思。
4对做交付意味着什么

把「长任务」的算力账提前算出来

这类方法最有价值的启发,不是某个具体网络结构,而是它把「长程任务」的成本结构摆到了台面上。

一台机器人在真实场景里干活,最典型的失败不是某一步做错,而是一整条任务链在中途断掉。任务链越长,需要的重规划次数越多,每次重规划的延迟都会累积成肉眼可见的卡顿。从这个角度说,「能完成长任务」本质上是一个延迟工程问题,而不只是模型能力问题。

短任务
一到三步、十秒内结束。重规划次数少,用任何主流方案都能跑,瓶颈在成功率。
中等任务
多步、分钟级。重规划开始成为延迟来源,过程指引(子目标)从「锦上添花」变成「必需品」。
长任务
多阶段、含失败恢复。成本由「单位时间的规划开销」决定,架构选择直接决定能不能上产线。

对做项目交付的团队而言,这意味着在方案阶段就该问三个问题:一次重规划要多少毫秒、一台设备上能不能本地跑、以及当算力不够时能不能只降级视觉规划而不影响动作输出。第三个问题的答案,决定了这套系统在边缘硬件上有没有退路。

判断:具身智能的落地竞争,正在从「能不能做对一次」转向「连续做对两小时的成本是多少」。凡是把规划开销按次计入成本结构的方案,都比把规划开销藏在云端、按需调用的方案更容易被客户算清楚——而客户能算清楚的方案,才更容易签下来。
来源:arXiv:2610.02508v1《World Action Modeling with Progressive Visual Planning》摘要与项目主页(sii-ferenas.github.io ↗)。本号未获得论文正文与消融表;团队机构、训练数据规模、真机实验本体与试验次数均未披露。LIBERO-Plus 与站内此前引用的 LIBERO-PRO 为不同基准,分数不可互相印证。