32.26% 登顶 RoboDojo、14B 打赢 64B:星动纪元 VPP2 这份成绩单里,最该抄的是训练顺序
这是一个可以直接抄的配方:先让模型学会预测一整件事,再把它压到能实时跑的速度,最后才接动作专家。三个阶段的顺序一旦反过来,动作学会了、泛化就丢了。VPP2 把这条顺序连同代码一起开源了。
- 成绩:星动纪元自研的世界动作模型 VPP2 登顶 RoboDojo 仿真榜单,综合平均成功率 32.26%、综合平均得分 39.26 分,两项均列第一;对比 GPT-6-Astra 的 22.48% 与 28.97 分,分别领先 9.78 个百分点和 10.29 分。
- 榜单规格:RoboDojo 由香港大学 MMLab 牵头、全球近 20 所顶尖学术机构共建,仿真测试含 42 项双臂操作任务,覆盖泛化、精准操作、长程任务、记忆、开放词汇指令理解五维;VPP2 在泛化、精准操作、记忆三个维度上也拿下第一。
- 三阶段配方:① 事件级视频继续预训练 → ② 固定时长视频后训练与蒸馏 → ③ 动作专家训练。基座为阿里开源的 Wan2.1-I2V-14B,动作专家是 0.9B 的扩散 Transformer(MoT 架构)。
- 两个硬数字:预测未来 8 秒视觉变化的计算耗时约 0.12 秒,动作专家约 0.1 秒,整体动作片段生成延迟约 0.22 秒;在机器人操作视频的指令遵循测试中,14B 的 VPP2 达到 90%,而 64B 的 Cosmos3 为 78%。
- 真机与泛化:部署到真实 ALOHA 双臂机器人做 10 类零样本任务,平均成功率 58.5%(π0.5 为 40%),10 类中 9 类最佳;LIBERO-Pro 总体成功率 45.0%(其他基线最高 11.0%),LIBERO-OOD 63.9%。
- 已开源:代码 github.com/roboterax/video-prediction-policy-2;项目主页 robert-gyj.github.io/video-prediction-policy-2。
42 项任务,专挑你不擅长的出
要看懂 32.26% 这个数字,得先知道分母是什么。RoboDojo 由香港大学 MMLab 牵头、全球近 20 所顶尖学术机构共同建设,仿真测试包含 42 项双臂操作任务,覆盖五个维度:泛化能力、精准操作、长程任务、记忆、开放词汇指令理解。
报道给出了这个榜单设计的出发点:它专挑机器人不擅长的地方出题——换个环境还会不会干活、东西摆歪了还能不能抓准、任务做到一半还记不记得前面发生了什么。用报道的话说,「想靠刷熟练度蒙混过关,没那么容易」。
报道解释了两个指标的分工:成功率看机器人能否完整完成任务;平均得分衡量任务推进到了哪一步,即便没能全部完成,也能体现阶段性表现。这一点很关键——它意味着 VPP2 的领先不只是「做成的更多」,还包括「没做成的那些也推进得更远」。
先练预测,再压速度,最后才接动作
VPP2 走的是世界动作模型(WAM)路线:借助视频预测理解物理世界接下来会如何变化,再把这种预测转化为机器人动作。报道说这条路线长期存在一个问题——视频预测得漂亮,不代表机器人真的会干活。具体有两种典型翻车方式:一是普通视频模型擅长生成画面,但「画面看着合理」和「符合真实物理规律」是两回事,比如要求抓左边的杯子,模型却预测抓起右边那个,视频照样能生成,机器人执行时直接跑偏;二是直接把动作学习加进视频模型,还可能损伤原本的泛化能力——动作学会了,换个环境却不会做了。
VPP2 给出的判断很直接:视频预测的质量,决定了动作的上限。基于这个判断,它的做法不是把视频和动作「一锅炖」,而是把两者解耦、重新排序,分成三个阶段:
配套还有一处数据处理上的细节值得记下来:团队没有把视频一股脑喂给模型,而是先把操作过程切分成语义完整的片段,再配上详细描述。报道举的例子是,不能只告诉模型「把杯子放进盒子」,还要明确是哪只机械臂、哪个杯子、哪个盒子以及整个操作过程——因为同一句模糊指令可能对应无数种动作轨迹。
14B 打赢 64B、0.22 秒、以及规划器值 30 个点
除了榜单分数,报道里还有三组数字,任何做这条线的人都可以拿去做自己的参照系。
参数不是胜负手
在机器人操作视频的指令遵循测试中,14B 参数的 VPP2 达到 90%,而 64B 参数的 Cosmos3 为 78%。报道的结论是:在物理操作预测中,参数规模并非唯一胜负手。
延迟是可以压的
预测未来 8 秒视觉变化约 0.12 秒;0.9B 动作专家约 0.1 秒;整体动作片段生成延迟约 0.22 秒。这些数字都来自一致性蒸馏把多步压成单步这一步。
规划器值多少
在 RoboDojo 选定的长程任务测试中,引入 VLM 高层子任务规划后,平均成功率从 27.6% 提升到 57.6%。团队实际用的是 VLM 做语义理解、记忆与任务拆解,再把子任务交给 VPP2 执行。
第三组的含义最直接,报道把它总结成「GPT 负责想,VPP2 负责做」:通用模型负责理解意图、推理和规划,把复杂任务拆成明确步骤;WAM 负责预测物理变化、生成动作,再通过执行反馈持续调整。
代码与项目主页都在,先做复现再谈选型
报道给出的开源入口有两个:代码仓库 github.com/roboterax/video-prediction-policy-2,项目主页 robert-gyj.github.io/video-prediction-policy-2。报道明确写了「VPP2 现已开源」,并邀请读者复现论文结果。
商业侧的信息也有:星动纪元已与中国邮政、顺丰等企业合作,在全国 5 个省市、10 余个物流中心常态化运营。物流场景中的货物尺寸、摆放位置、作业流程都可能发生变化,这正对泛化能力提出要求。但报道本身也踩了一脚刹车:「已有物流业务的商业化进展,并不意味着 VPP2 已经实现规模化部署。模型能否在更多真实场景中长期稳定运行,还需要进一步验证。」