工具教程 · 神机百见-具身解读

32.26% 登顶 RoboDojo、14B 打赢 64B:星动纪元 VPP2 这份成绩单里,最该抄的是训练顺序

这是一个可以直接抄的配方:先让模型学会预测一整件事,再把它压到能实时跑的速度,最后才接动作专家。三个阶段的顺序一旦反过来,动作学会了、泛化就丢了。VPP2 把这条顺序连同代码一起开源了。

本篇目录4 节 · 14
一分钟速览
  1. 成绩:星动纪元自研的世界动作模型 VPP2 登顶 RoboDojo 仿真榜单,综合平均成功率 32.26%、综合平均得分 39.26 分,两项均列第一;对比 GPT-6-Astra 的 22.48% 与 28.97 分,分别领先 9.78 个百分点和 10.29 分。
  2. 榜单规格:RoboDojo 由香港大学 MMLab 牵头、全球近 20 所顶尖学术机构共建,仿真测试含 42 项双臂操作任务,覆盖泛化、精准操作、长程任务、记忆、开放词汇指令理解五维;VPP2 在泛化、精准操作、记忆三个维度上也拿下第一。
  3. 三阶段配方:① 事件级视频继续预训练 → ② 固定时长视频后训练与蒸馏 → ③ 动作专家训练。基座为阿里开源的 Wan2.1-I2V-14B,动作专家是 0.9B 的扩散 Transformer(MoT 架构)。
  4. 两个硬数字:预测未来 8 秒视觉变化的计算耗时约 0.12 秒,动作专家约 0.1 秒,整体动作片段生成延迟约 0.22 秒;在机器人操作视频的指令遵循测试中,14B 的 VPP2 达到 90%,而 64B 的 Cosmos3 为 78%。
  5. 真机与泛化:部署到真实 ALOHA 双臂机器人做 10 类零样本任务,平均成功率 58.5%(π0.5 为 40%),10 类中 9 类最佳;LIBERO-Pro 总体成功率 45.0%(其他基线最高 11.0%),LIBERO-OOD 63.9%。
  6. 已开源:代码 github.com/roboterax/video-prediction-policy-2;项目主页 robert-gyj.github.io/video-prediction-policy-2。
数据来源与边界
素材时间窗为当日 09:00 → 19:00(北京时间,2026-10-09)。主源量子位 2026-10-09 11:34 发布(腾讯新闻同步),英文侧 36 氪欧洲站同日报道,两篇为同一事件的独立表述,但均基于星动纪元提供的论文与榜单截图,不构成对成绩的独立复现。核查方式与边界:① 所有分数(32.26% / 39.26 分、GPT-6-Astra 的 22.48% / 28.97 分、ALOHA 零样本 58.5%、LIBERO-Pro 45.0%、LIBERO-OOD 63.9%)的基线数据取自官方排行榜,报道已注明「论文截图,基线模型数据取自官方排行榜」,本号未直接访问 RoboDojo 榜单页面逐一核对;② 「没有额外加数据、没用 Agent RSI 等增强手段」为公司口径,无第三方核验;③ 「清华唯一持股的嫡系具身公司」为媒体表述,本号未核对股权结构;④ 物流场景的「全国 5 个省市、10 余个物流中心常态化运营」为公司口径,且报道本身明确说明这不代表 VPP2 已实现规模化部署;⑤ 开源仓库地址与项目主页由报道给出,本文未验证仓库当前状态与许可证。判断均为作者分析,已用「判断:」标注。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。
1先弄清这份榜单在考什么

42 项任务,专挑你不擅长的出

要看懂 32.26% 这个数字,得先知道分母是什么。RoboDojo 由香港大学 MMLab 牵头、全球近 20 所顶尖学术机构共同建设,仿真测试包含 42 项双臂操作任务,覆盖五个维度:泛化能力、精准操作、长程任务、记忆、开放词汇指令理解。

报道给出了这个榜单设计的出发点:它专挑机器人不擅长的地方出题——换个环境还会不会干活、东西摆歪了还能不能抓准、任务做到一半还记不记得前面发生了什么。用报道的话说,「想靠刷熟练度蒙混过关,没那么容易」。

VPP2 平均成功率
32.26%
GPT-6-Astra 平均成功率
22.48%
VPP2 平均得分
39.26 分
GPT-6-Astra 平均得分
28.97 分
柱长按百分比/百分制得分等比绘制;两个指标的量纲不同,仅作同指标内对照

报道解释了两个指标的分工:成功率看机器人能否完整完成任务;平均得分衡量任务推进到了哪一步,即便没能全部完成,也能体现阶段性表现。这一点很关键——它意味着 VPP2 的领先不只是「做成的更多」,还包括「没做成的那些也推进得更远」。

判断:32.26% 这个绝对数看起来很低,但它是这份榜单的性质决定的:42 项任务里包含长程、记忆、开放词汇这类刻意超纲的题目。把「低分」当成「模型不行」会读错;正确的读法是看它和同榜者的相对位置。同一张表上,GPT-6-Astra 是 22.48%。差距 9.78 个百分点在这种难度的榜单上不是小数点后的差别,是能力档位的差别。所以这条消息真正的信息不是「第一」,是「通用认知模型在这类任务上并不自动领先」。而这恰好是过去一年被反复默认的前提。
2配方:三个阶段,顺序不能反

先练预测,再压速度,最后才接动作

VPP2 走的是世界动作模型(WAM)路线:借助视频预测理解物理世界接下来会如何变化,再把这种预测转化为机器人动作。报道说这条路线长期存在一个问题——视频预测得漂亮,不代表机器人真的会干活。具体有两种典型翻车方式:一是普通视频模型擅长生成画面,但「画面看着合理」和「符合真实物理规律」是两回事,比如要求抓左边的杯子,模型却预测抓起右边那个,视频照样能生成,机器人执行时直接跑偏;二是直接把动作学习加进视频模型,还可能损伤原本的泛化能力——动作学会了,换个环境却不会做了。

VPP2 给出的判断很直接:视频预测的质量,决定了动作的上限。基于这个判断,它的做法不是把视频和动作「一锅炖」,而是把两者解耦、重新排序,分成三个阶段:

阶段一
事件级视频继续预训练:让模型学会预测完整操作过程。基座是阿里开源的 Wan2.1-I2V-14B,整合机器人操作、人类活动、通用视频等多源数据,覆盖不同机器人本体和操作方式。
阶段二
固定时长视频后训练与蒸馏:调整为固定 8 秒片段预测,再通过一致性蒸馏把多步计算压缩为单步生成,让预测能力跟得上机器人实时执行的速度。
阶段三
动作专家训练:引入 0.9B 扩散 Transformer(Action DiT,采用 MoT 架构),根据预测的未来状态生成动作。动作训练初期冻结视频模型基础参数,仅通过 LoRA 适配,尽量避免破坏已有的预测泛化能力。

配套还有一处数据处理上的细节值得记下来:团队没有把视频一股脑喂给模型,而是先把操作过程切分成语义完整的片段,再配上详细描述。报道举的例子是,不能只告诉模型「把杯子放进盒子」,还要明确是哪只机械臂、哪个杯子、哪个盒子以及整个操作过程——因为同一句模糊指令可能对应无数种动作轨迹。

判断:这份配方里最可复用的一条,是阶段三的「冻结基参 + LoRA 起步」。它解决的是一个所有做后训练的人都会撞上的问题:你花大力气练出来的泛化能力,会在动作微调时被悄悄磨掉。VPP2 的处理方式是把「理解世界怎么变」和「我该怎么动」在时间上分开长,先让前者长结实,再让后者在它旁边长。这个思路不需要照搬架构就能用:任何做 VLA 后训练的团队,都可以先跑一次「冻结基座只训动作头」的对照实验,看泛化掉多少,再决定要不要解冻。成本很低,信息量很大。
3三个可以直接抄过来当对照的数字

14B 打赢 64B、0.22 秒、以及规划器值 30 个点

除了榜单分数,报道里还有三组数字,任何做这条线的人都可以拿去做自己的参照系。

参数不是胜负手

在机器人操作视频的指令遵循测试中,14B 参数的 VPP2 达到 90%,而 64B 参数的 Cosmos3 为 78%。报道的结论是:在物理操作预测中,参数规模并非唯一胜负手。

延迟是可以压的

预测未来 8 秒视觉变化约 0.12 秒;0.9B 动作专家约 0.1 秒;整体动作片段生成延迟约 0.22 秒。这些数字都来自一致性蒸馏把多步压成单步这一步。

规划器值多少

在 RoboDojo 选定的长程任务测试中,引入 VLM 高层子任务规划后,平均成功率从 27.6% 提升到 57.6%。团队实际用的是 VLM 做语义理解、记忆与任务拆解,再把子任务交给 VPP2 执行。

第三组的含义最直接,报道把它总结成「GPT 负责想,VPP2 负责做」:通用模型负责理解意图、推理和规划,把复杂任务拆成明确步骤;WAM 负责预测物理变化、生成动作,再通过执行反馈持续调整。

判断:27.6% → 57.6% 这 30 个百分点是全篇最便宜的一笔收益。它不是说底层模型不行,是说底层模型再强,也补不上「先做什么」这一层的缺口。对要做交付的团队,这条结论可以立刻转成一个很具体的动作:在做任何模型选型之前,先把任务拆解层单独测一遍。如果加上规划器能翻倍,那么钱应该先花在规划层,而不是花在换一个更大的动作模型上。反过来,如果加上规划器没有变化,才说明瓶颈真的在底层执行。
4开源了什么、以及怎么用

代码与项目主页都在,先做复现再谈选型

报道给出的开源入口有两个:代码仓库 github.com/roboterax/video-prediction-policy-2,项目主页 robert-gyj.github.io/video-prediction-policy-2。报道明确写了「VPP2 现已开源」,并邀请读者复现论文结果。

商业侧的信息也有:星动纪元已与中国邮政、顺丰等企业合作,在全国 5 个省市、10 余个物流中心常态化运营。物流场景中的货物尺寸、摆放位置、作业流程都可能发生变化,这正对泛化能力提出要求。但报道本身也踩了一脚刹车:「已有物流业务的商业化进展,并不意味着 VPP2 已经实现规模化部署。模型能否在更多真实场景中长期稳定运行,还需要进一步验证。」

可复现清单(按报道给出的信息整理):① 基座 Wan2.1-I2V-14B,动作专家 0.9B Action DiT(MoT);② 三阶段顺序:事件级视频继续预训练 → 固定 8 秒片段后训练 + 一致性蒸馏 → 动作专家训练(初期冻结基参、LoRA 适配);③ 数据侧:操作视频切分为语义完整片段并配详细描述(明确是哪只臂、哪个物体、哪个目标位);④ 对照口径:指令遵循 90%(14B)vs 78%(64B Cosmos3);ALOHA 零样本 58.5% vs π0.5 的 40%;LIBERO-Pro 45.0% vs 基线最高 11.0%;LIBERO-OOD 63.9%;⑤ 延迟口径:预测 0.12 秒 + 动作 0.1 秒 ≈ 0.22 秒。
判断:这份材料最值得做的动作不是讨论排名,是先跑一遍复现再看要不要用。理由有三:一,论文与代码都放出来了,复现成本比过去低得多;二,几个关键结论(分阶段训练的收益、14B vs 64B、规划器加 30 点)都是可以拆开单独验证的命题,不必接受整套方案;三,它在物流场景已有常态化运营,说明这套东西已经被放到过真实环境里,不是纯仿真产物。一句话:这是一个能动手的对象,而不只是一条新闻。
来源:量子位 2026-10-09 11:34(田晏林发自凹非寺,原文);36 氪欧洲站同日英文报道;开源地址 github.com/roboterax/video-prediction-policy-2