98.5% 与 73%：VLDA 把「想象未来」换成「只学变化」，然后把世界模型的争论改写了一遍
同一个模型，LIBERO 上 98.5%，真机长时任务只有 73.0%。这两个数字的落差，比它比 π0.5 高 17 个百分点更值得看。而真正改变判断的，是一个只掉 0.7 个百分点的消融。
- 出处：哈尔滨工业大学（深圳）联合百度提出机器人操作新范式 VLDA（Vision-Language-Delta-Action），训练实现同步开放在百度开源框架 LoongForge；中文整理稿 2026-10-28 18:41 发布。
- 方法一句话：不预测整幅未来画面，只学一个紧凑变量 Delta——「任务相关的那一点状态变化」，再让它直接参与动作生成。链路拆成 VLM 编码 → 世界专家推 Delta → 动作专家生成动作。
- 仿真成绩：LIBERO 98.5%（Long 套件 95.2%，比 π0.5 高 2.8 个百分点）；LIBERO-Plus 零样本 84.5%（10030 次 rollout，比 π0.5 高 10.9 个百分点）；RoboTwin 2.0 十个 hard 任务 62.9%（比 π0.5 高 20.2 个百分点）。
- 真机成绩：四个长时任务、每任务每平台 25 次试验，GALAXEA R1 Lite 平均 73.0%（π0.5 为 56.0%）；AgileX Cobot Magic 平台 72.0%（π0.5 为 54.0%）。
- 关键消融：把「学变化」换回「预测完整未来」，LIBERO 从 98.5% 掉到 97.8%，LIBERO-Plus 从 84.5% 掉到 81.1%，其中光照维度掉 6.9 个百分点。
- 判断： 这场关于世界模型的争论，答案可能不是「要不要想象未来」，而是「想象里保留多少」。真正值钱的不是那 0.7 个百分点，而是它指出了一条更省容量的中间表示路线。
先把两个数字并排放：LIBERO 平均成功率 98.5%，真机长时任务平均成功率 73.0%。
这是同一个模型在同一篇论文里的两组结果。中间那 25 个百分点，才是这篇文章真正在讨论的东西。
而论文自己认为最有力的证据，不是 98.5%，也不是 73.0%，是一个只掉 0.7 个百分点的消融实验。
现有的两条路线，VLDA 都不满意。
第一条是 VLA 的直接映射：看图加指令，直接吐动作。问题是一件事挤了三件事——认物体、想目标、生成动作序列，全在同一个端到端过程里，中间没有一个专门的接口。任务一长就难优化。
第二条是 WAM，也就是用世界模型预测未来画面来辅助控制。这条路多了一层时间信息，但代价是模型容量要分给整幅未来画面——画面里绝大部分是桌面、墙面、没被碰到的物体，从头到尾没变。真正与任务相关的，往往只是很小一块。
VLDA 的做法介于两者之间：不预测整幅未来，只学一个低维变量 Delta，专门描述「任务相关的状态变化」，然后让它直接指挥动作生成。
整条链路因此被拆成三步：视觉语言模型编码当前状态和指令，世界专家据此推断出 Delta，动作专家再以 Delta 为条件生成动作序列。原来的「观察→动作」一步到位，被改写成「理解→转移→执行」。
底座是什么
模型搭在 π0.5 之上：PaliGemma 初始化的 20 亿参数视觉语言骨干，加 Gemma-300M 动作专家；另外新增一个与动作专家同架构、同容量、但从零初始化的世界专家。
训练怎么排
两阶段。第一阶段冻结动作分支，只把 Delta 的表示学稳；第二阶段再联合优化转移建模、动作生成、以及 Delta 与动作的对齐。论文的消融显示，若一上来就联合训练，LIBERO-Plus 会掉到 79.4%。
还有一个工程细节值得单独记一笔：训练时用了两个编码器（一个在线、一个指数移动平均的教师）来产生稳定监督，但推理时只需要当前观测和指令，那两个编码器在训练结束后可以直接丢掉。这一点决定了它能不能真的上机——训练时拿得到未来帧，部署时拿不到。
| 基准 / 平台 | 评测方式 | VLDA | π0.5 | 差距 |
|---|---|---|---|---|
| LIBERO | 仿真，四套件平均 | 98.5% | 约 96.9%（反推） | 约 +1.7pp |
| LIBERO-Plus | 仿真，七维扰动零样本 | 84.5% | 73.6% | +10.9pp |
| RoboTwin 2.0（10 hard） | 仿真，随机化零样本 | 62.9% | 42.7% | +20.2pp |
| RoboTwin 2.0（全部 50） | 仿真，随机化零样本 | 50.86% | 43.84% | +7.02pp |
| GALAXEA R1 Lite | 真机，四长时任务 ×25 次 | 73.0% | 56.0% | +17.0pp |
| AgileX Cobot Magic | 真机，四长时任务 ×25 次 | 72.0% | 54.0% | +18.0pp |
这张表里最该被忽略的是第一行。LIBERO 已经接近饱和，基线普遍在 97% 以上，在这个基准上比出 1 个百分点，说明不了能力差异，只说明大家都会做。
信息量在第二、三行。LIBERO-Plus 在相机、本体、语言、光照、背景、噪声、布局七个维度上做扰动，考的是分布外稳定性；RoboTwin 2.0 是干净设置训练、随机化设置评测，考的是跨分布泛化。这两个基准上 10 到 20 个百分点的差距，才是「换个变量」带来的真实收益。
最能说明问题的是光照这一维：VLDA 在光照扰动下达到 96.0%，是七个维度里最高的一项。这个数字有解释力——只学「该变的那一点」的模型，本来就不该被光照这类不改变任务本质的外观变化带偏。
论文最强的证据是一个拆解实验：把 Delta 换回「预测完整未来」，其他都不动。
在这个基准已经饱和的情况下，掉 0.7 个百分点几乎不算掉。但在 LIBERO-Plus 上掉 3.4 个百分点，在光照这一维掉 6.9 个，就不是噪声了。
这条消融回答的是一个问题：世界模型那套「预测未来帧」的做法，到底有没有用？答案是——未来帧有用，但整幅地去预测是把容量用错了地方。换成只提取变化，同样的模型规模，泛化更好。
另外两个消融也指向同一件事。去掉把 Delta 注入动作生成的那一步（只当辅助监督用），LIBERO 从 98.5% 掉到 97.2%；去掉 Delta 与动作的对齐，LIBERO 只掉 0.3 个点，但 LIBERO-Plus 掉 2.5 个点，光照维度从 96.0% 掉到 89.7%。
后一条尤其说明问题：没有动作层面的约束，Delta 会退化成一个「视觉上说得通但控制上没用」的表示。画面变化和动作不是一一对应的，这一点在 LIBERO 上测不出来，在扰动下就露出来了。
把时间线拉近一点会看到一件有意思的事。
10 月 24 日，另一支团队（跨维智能联合香港中文大学深圳等）发布了 TaskAnchor：在 π0.5 上外挂一个 2700 万参数的模块，补的是「任务进度」——机器人现在做到哪一步了。它把 π0.5 在 RMBench 上的任务特定成功率从 14% 拉到 79%。
10 月 28 日，哈工大深圳与百度发布 VLDA：同样以 π0.5 为底，补的是「任务相关的状态变化」——接下来该改变什么。
TaskAnchor（10-24）补进度
解决的是「忘了做到哪」。从执行历史恢复任务状态，参数 2700 万、延迟约 2 毫秒，不动动作生成机制。属于外挂式加法，改动面最小。
VLDA（10-28）补变化
解决的是「该改变什么」。Delta 要贯穿去噪过程，直接改写动作生成的条件，甚至要新增一个同容量的世界专家。属于侵入式加法，改动面大得多。
回到开头那 25 个百分点的落差。
仿真里 98.5%，真机长时任务 73.0%。这不是打脸，这是常态——真机上叠环、清扫、分拣、搬运四个任务都要连续多步，任何一步误差都会累积。论文自己也强调了「长时一致性」这个词：VLDA 在四个任务的后期阶段，成功率掉得比基线少。
但 73% 这个数字本身也需要加一层注脚。每个任务每个平台 25 次试验，四个任务合计约 100 次。按二项分布粗算，73% 这个比例的标准误约 4.4 个百分点；和 56% 相比，差值的标准误约 6.7 个百分点，17 个百分点的差距大约是 2.5 个标准误。
看起来显著。但试验是按任务聚簇的——同一个任务里跑 25 次，这 25 次之间并不独立，模型在某个任务上系统性偏弱，会把整组拉下来。有效样本因此小于 100，实际置信度会低于上面这个估算。这是本号的推算，不是论文数据。
还有一项对落地更关键：部署时只需要视觉语言骨干、世界专家、条件化模块和动作专家，两个编码器可以丢；真机推理跑在单张 32GB 消费级 GPU 上。训练要 8 张 A800，推理要一张消费卡——这个不对称是正常的，但它决定了这套东西能不能进成本敏感的机器人本体。
追踪这类研究，不需要等复现。三个公开可查的点就够：一是论文是否放出每个任务的分解成功率（决定 73% 的可信区间），二是 LoongForge 里是否有可跑的权重和训练配置（决定能不能自己验），三是三到六个月内有没有第三方在别的本体上复现出同方向的收益（决定 Delta 是通用接口还是这四类任务的专属技巧）。