# 98.5% 与 73%：VLDA 把「想象未来」换成「只学变化」，然后把世界模型的争论改写了一遍

> 同一个模型，LIBERO 上 98.5%，真机长时任务只有 73.0%。这两个数字的落差，比它比 π0.5 高 17 个百分点更值得看。而真正改变判断的，是一个只掉 0.7 个百分点的消融。

### TLDR

- **出处**：哈尔滨工业大学（深圳）联合百度提出机器人操作新范式 **VLDA**（Vision-Language-**Delta**-Action），训练实现同步开放在百度开源框架 **LoongForge**；中文整理稿 **2026-10-28 18:41** 发布。
- **方法一句话**：不预测整幅未来画面，只学一个紧凑变量 **Delta**——「任务相关的那一点状态变化」，再让它直接参与动作生成。链路拆成 **VLM 编码 → 世界专家推 Delta → 动作专家生成动作**。
- **仿真成绩**：**LIBERO 98.5%**（Long 套件 95.2%，比 π0.5 高 2.8 个百分点）；**LIBERO-Plus 零样本 84.5%**（10030 次 rollout，比 π0.5 高 **10.9** 个百分点）；**RoboTwin 2.0 十个 hard 任务 62.9%**（比 π0.5 高 **20.2** 个百分点）。
- **真机成绩**：四个长时任务、每任务每平台 **25 次**试验，GALAXEA R1 Lite 平均 **73.0%**（π0.5 为 56.0%）；AgileX Cobot Magic 平台 **72.0%**（π0.5 为 54.0%）。
- **关键消融**：把「学变化」换回「预测完整未来」，LIBERO 从 **98.5% 掉到 97.8%**，LIBERO-Plus 从 **84.5% 掉到 81.1%**，其中光照维度掉 **6.9** 个百分点。
- **判断：** 这场关于世界模型的争论，答案可能不是「要不要想象未来」，而是「想象里保留多少」。真正值钱的不是那 0.7 个百分点，而是它指出了一条更省容量的中间表示路线。

### SRC

事实来源为**腾讯新闻·智猩猩 2026-10-28 18:41** 发布的论文整理稿（https://news.qq.com/rain/a/20261028A0BVZ100 ），文首注明「论文团队投稿」；论文题为《Vision-Language-Delta-Action: Learning Compact Deltas as Actionable Transition Interfaces for Robotic Manipulation》，作者单位为哈尔滨工业大学（深圳）与百度，训练实现开放在百度 **LoongForge** 框架。**素材时间窗**按本批规定为**当日 09:00 → 19:00（2026-10-28 09:00 → 19:00）**，整理稿发布于 18:41，落在窗口内；论文本身的公开时间稿件仅写「近日」，**未给具体日期**，本号按「窗口内新增量为中文整理稿落地」采用。**单一信源说明**：本篇所有数字（98.5% / 84.5% / 62.9% / 50.86% / 73.0% / 72.0% / 17.0 与 10.9 个百分点等）**均出自这一篇团队投稿整理稿**，本号**未获取 arXiv 原文逐表核对**，也没有第三方复现结果，按「单一信源、团队自报」标注。**不确定边界**：①真机试验为每任务每平台 25 次、四任务合计约 100 次，样本量偏小；文中「73.0% 对 56.0%」若按二项分布粗略估算，差值的标准误约 6.7 个百分点、约合 2.5 个标准误——但试验按任务聚簇，同一任务内的重复并不独立，**有效样本更小，实际显著性会低于这个估算**，此为**作者推算，非论文数据**；②LIBERO 已接近饱和（基线普遍 97% 以上），该基准上的 1 个百分点级领先**不宜当作能力差异**；③「零样本」在 LIBERO-Plus 与 RoboTwin 2.0 上分别指对七维扰动与随机化设置的零样本，两者口径不同，不应合并；④单机 8 张 A800 训练、单张 32GB 消费级 GPU 推理的硬件口径来自整理稿，未见完整配置表；⑤「训练后丢弃 V-JEPA 2 编码器」是部署设计，实际部署形态未公布。**与本站既有稿件的差异**：554 号稿（2026-10-24）写的 **TaskAnchor** 同样在 **π0.5** 上做加法，但它补的是「任务状态」（做到哪一步，2700 万参数、2 毫秒延迟）；本篇补的是「任务相关的状态变化」（该改变什么），且改造的是动作生成链路本身。两篇是同一底座上的两条不同加法路线，本号在本篇里专门做了一次横向对照，这是 554 号稿写作时不存在的视角。文中判断为作者观点，已用「判断：」标注；文末版权与免责声明由模板自动附加。

### BODY

<p>先把两个数字并排放：LIBERO 平均成功率 98.5%，真机长时任务平均成功率 73.0%。</p>

<p>这是同一个模型在同一篇论文里的两组结果。中间那 25 个百分点，才是这篇文章真正在讨论的东西。</p>

<p>而论文自己认为最有力的证据，不是 98.5%，也不是 73.0%，是一个只掉 0.7 个百分点的消融实验。</p>

<div class="sec">
<div class="eyebrow">它改的不是模型大小，是「中间该有什么」</div>

<p>现有的两条路线，VLDA 都不满意。</p>

<p>第一条是 VLA 的直接映射：看图加指令，直接吐动作。问题是一件事挤了三件事——认物体、想目标、生成动作序列，全在同一个端到端过程里，中间没有一个专门的接口。任务一长就难优化。</p>

<p>第二条是 WAM，也就是用世界模型预测未来画面来辅助控制。这条路多了一层时间信息，但代价是模型容量要分给整幅未来画面——画面里绝大部分是桌面、墙面、没被碰到的物体，从头到尾没变。真正与任务相关的，往往只是很小一块。</p>

<p>VLDA 的做法介于两者之间：不预测整幅未来，只学一个低维变量 Delta，专门描述「任务相关的状态变化」，然后让它直接指挥动作生成。</p>

<p>整条链路因此被拆成三步：视觉语言模型编码当前状态和指令，世界专家据此推断出 Delta，动作专家再以 Delta 为条件生成动作序列。原来的「观察→动作」一步到位，被改写成「理解→转移→执行」。</p>

<div class="jx-cols">
<div style="flex:50">
<p><strong>底座是什么</strong></p>
<p>模型搭在 π0.5 之上：PaliGemma 初始化的 20 亿参数视觉语言骨干，加 Gemma-300M 动作专家；另外新增一个与动作专家同架构、同容量、但<strong>从零初始化</strong>的世界专家。</p>
</div>
<div style="flex:50">
<p><strong>训练怎么排</strong></p>
<p>两阶段。第一阶段冻结动作分支，只把 Delta 的表示学稳；第二阶段再联合优化转移建模、动作生成、以及 Delta 与动作的对齐。论文的消融显示，若一上来就联合训练，LIBERO-Plus 会掉到 79.4%。</p>
</div>
</div>

<p>还有一个工程细节值得单独记一笔：训练时用了两个编码器（一个在线、一个指数移动平均的教师）来产生稳定监督，但推理时只需要当前观测和指令，那两个编码器在训练结束后可以直接丢掉。这一点决定了它能不能真的上机——训练时拿得到未来帧，部署时拿不到。</p>
</div>

<div class="sec">
<div class="eyebrow">四个基准，成绩单长这样</div>

<div class="tbl-wrap">
<table>
<tr><th>基准 / 平台</th><th>评测方式</th><th>VLDA</th><th>π0.5</th><th>差距</th></tr>
<tr><th>LIBERO</th><td>仿真，四套件平均</td><td>98.5%</td><td>约 96.9%（反推）</td><td>约 +1.7pp</td></tr>
<tr><th>LIBERO-Plus</th><td>仿真，七维扰动零样本</td><td>84.5%</td><td>73.6%</td><td>+10.9pp</td></tr>
<tr><th>RoboTwin 2.0（10 hard）</th><td>仿真，随机化零样本</td><td>62.9%</td><td>42.7%</td><td>+20.2pp</td></tr>
<tr><th>RoboTwin 2.0（全部 50）</th><td>仿真，随机化零样本</td><td>50.86%</td><td>43.84%</td><td>+7.02pp</td></tr>
<tr><th>GALAXEA R1 Lite</th><td>真机，四长时任务 ×25 次</td><td>73.0%</td><td>56.0%</td><td>+17.0pp</td></tr>
<tr><th>AgileX Cobot Magic</th><td>真机，四长时任务 ×25 次</td><td>72.0%</td><td>54.0%</td><td>+18.0pp</td></tr>
</table>
</div>
<div class="cap">表注：数据取自论文团队整理稿。LIBERO 一行的 π0.5 数值按四个套件分别高 1.0 / 1.4 / 1.4 / 2.8 个百分点反推，故标「量级」；真机任务为叠环、桌面清扫、传送带分拣、篮子搬运。</div>

<p>这张表里最该被忽略的是第一行。LIBERO 已经接近饱和，基线普遍在 97% 以上，在这个基准上比出 1 个百分点，说明不了能力差异，只说明大家都会做。</p>

<p>信息量在第二、三行。LIBERO-Plus 在相机、本体、语言、光照、背景、噪声、布局七个维度上做扰动，考的是分布外稳定性；RoboTwin 2.0 是干净设置训练、随机化设置评测，考的是跨分布泛化。这两个基准上 10 到 20 个百分点的差距，才是「换个变量」带来的真实收益。</p>

<p>最能说明问题的是光照这一维：VLDA 在光照扰动下达到 96.0%，是七个维度里最高的一项。这个数字有解释力——只学「该变的那一点」的模型，本来就不该被光照这类不改变任务本质的外观变化带偏。</p>

<div class="keypoint">判断：如果只读第一行，会得出「又是刷榜」的结论；读到第二、三行才看得出这篇的分量。而且它的收益分布有一个很清晰的方向——越考察泛化和长时，差距越大。这恰好是「压缩中间表示」这个假设成立的形状：省下来的容量被还给了泛化。</div>
</div>

<div class="sec">
<div class="eyebrow">那个 0.7 个百分点，为什么比 20 个百分点重要</div>

<p>论文最强的证据是一个拆解实验：把 Delta 换回「预测完整未来」，其他都不动。</p>

<div class="jx-bars">
<div class="jx-bar-row"><div class="jx-bar-lab">LIBERO 平均</div><div class="jx-bar-track"><div class="jx-bar-fill" style="width:97.8%"></div></div><div class="jx-bar-val">98.5 → 97.8</div></div>
<div class="jx-bar-row"><div class="jx-bar-lab">LIBERO-Plus 平均</div><div class="jx-bar-track"><div class="jx-bar-fill" style="width:81.1%"></div></div><div class="jx-bar-val">84.5 → 81.1</div></div>
<div class="jx-bar-row"><div class="jx-bar-lab">Plus · 光照维度</div><div class="jx-bar-track"><div class="jx-bar-fill" style="width:89.1%"></div></div><div class="jx-bar-val">96.0 → 89.1</div></div>
<div class="jx-bar-row"><div class="jx-bar-lab">Plus · 背景维度</div><div class="jx-bar-track"><div class="jx-bar-fill" style="width:79.3%"></div></div><div class="jx-bar-val">84.0 → 79.3</div></div>
</div>
<div class="jx-legend"><div class="jx-lg">条形长度为替换后的成绩，数值标注为「原成绩 → 替换后成绩」，单位均为成功率百分点。</div></div>

<p>在这个基准已经饱和的情况下，掉 0.7 个百分点几乎不算掉。但在 LIBERO-Plus 上掉 3.4 个百分点，在光照这一维掉 6.9 个，就不是噪声了。</p>

<p>这条消融回答的是一个问题：世界模型那套「预测未来帧」的做法，到底有没有用？答案是——<strong>未来帧有用，但整幅地去预测是把容量用错了地方</strong>。换成只提取变化，同样的模型规模，泛化更好。</p>

<div class="keypoint">判断：这篇的意义不在于它证明了世界模型无用，恰恰相反，它给了世界模型一个更精确的位置——未来信息该保留，但应该被压成一个与动作挂钩的变量，而不是当成辅助目标顺带学。过去两年「预测未来帧」被当成提升泛化的主路径，这篇把争论从「要不要想象未来」推进到「想象里保留多少」。这个转向比任何单点数字都重要。</div>

<p>另外两个消融也指向同一件事。去掉把 Delta 注入动作生成的那一步（只当辅助监督用），LIBERO 从 98.5% 掉到 97.2%；去掉 Delta 与动作的对齐，LIBERO 只掉 0.3 个点，但 LIBERO-Plus 掉 2.5 个点，光照维度从 96.0% 掉到 89.7%。</p>

<p>后一条尤其说明问题：没有动作层面的约束，Delta 会退化成一个「视觉上说得通但控制上没用」的表示。画面变化和动作不是一一对应的，这一点在 LIBERO 上测不出来，在扰动下就露出来了。</p>
</div>

<div class="sec">
<div class="eyebrow">四天里的第二次「加法」：同一个底座，两种补法</div>

<p>把时间线拉近一点会看到一件有意思的事。</p>

<p>10 月 24 日，另一支团队（跨维智能联合香港中文大学深圳等）发布了 TaskAnchor：在 π0.5 上外挂一个 2700 万参数的模块，补的是「任务进度」——机器人现在做到哪一步了。它把 π0.5 在 RMBench 上的任务特定成功率从 14% 拉到 79%。</p>

<p>10 月 28 日，哈工大深圳与百度发布 VLDA：同样以 π0.5 为底，补的是「任务相关的状态变化」——接下来该改变什么。</p>

<div class="jx-cols">
<div style="flex:50">
<p><strong>TaskAnchor（10-24）补进度</strong></p>
<p>解决的是「忘了做到哪」。从执行历史恢复任务状态，参数 2700 万、延迟约 2 毫秒，不动动作生成机制。属于外挂式加法，改动面最小。</p>
</div>
<div style="flex:50">
<p><strong>VLDA（10-28）补变化</strong></p>
<p>解决的是「该改变什么」。Delta 要贯穿去噪过程，直接改写动作生成的条件，甚至要新增一个同容量的世界专家。属于侵入式加法，改动面大得多。</p>
</div>
</div>

<div class="keypoint">判断：两次「加法」都发生在 π0.5 上，这不是巧合。它说明业内对瓶颈位置的判断正在从「基座不够大」转向「基座和动作之间缺一层显式接口」。两条路线各有代价——补进度便宜、见效快、可外挂；补变化贵、要改链路，但泛化收益更大。真正的问题是：这两个变量能不能合并成一个。目前没有答案，而这是接下来半年最值得跟的实验方向。</div>
</div>

<div class="sec">
<div class="eyebrow">73% 这个数字，该怎么读</div>

<p>回到开头那 25 个百分点的落差。</p>

<p>仿真里 98.5%，真机长时任务 73.0%。这不是打脸，这是常态——真机上叠环、清扫、分拣、搬运四个任务都要连续多步，任何一步误差都会累积。论文自己也强调了「长时一致性」这个词：VLDA 在四个任务的后期阶段，成功率掉得比基线少。</p>

<p>但 73% 这个数字本身也需要加一层注脚。每个任务每个平台 25 次试验，四个任务合计约 100 次。按二项分布粗算，73% 这个比例的标准误约 4.4 个百分点；和 56% 相比，差值的标准误约 6.7 个百分点，17 个百分点的差距大约是 2.5 个标准误。</p>

<p>看起来显著。但试验是按任务聚簇的——同一个任务里跑 25 次，这 25 次之间并不独立，模型在某个任务上系统性偏弱，会把整组拉下来。有效样本因此小于 100，实际置信度会低于上面这个估算。<strong>这是本号的推算，不是论文数据。</strong></p>

<div class="keypoint">判断：73% 应该读成「方向可信、幅度待定」。17 个百分点的差距大概率是真实的，但真实幅度可能在 10 到 25 个点之间，取决于任务之间的差异有多大。要收紧这个区间，需要看每个任务分开报的成功率——整理稿只给了平均值，这是信息缺口。</div>

<p>还有一项对落地更关键：部署时只需要视觉语言骨干、世界专家、条件化模块和动作专家，两个编码器可以丢；真机推理跑在单张 32GB 消费级 GPU 上。训练要 8 张 A800，推理要一张消费卡——这个不对称是正常的，但它决定了这套东西能不能进成本敏感的机器人本体。</p>

<p>追踪这类研究，不需要等复现。三个公开可查的点就够：一是论文是否放出每个任务的分解成功率（决定 73% 的可信区间），二是 LoongForge 里是否有可跑的权重和训练配置（决定能不能自己验），三是三到六个月内有没有第三方在别的本体上复现出同方向的收益（决定 Delta 是通用接口还是这四类任务的专属技巧）。</p>
</div>

<div class="srcline">主要来源：腾讯新闻·智猩猩 2026-10-28 18:41 论文整理稿（论文团队投稿），论文《Vision-Language-Delta-Action: Learning Compact Deltas as Actionable Transition Interfaces for Robotic Manipulation》，哈工大深圳与百度，训练实现开放在 LoongForge。站内关联：554 号稿（10-24）TaskAnchor 补「任务进度」，本篇补「状态变化」，为同一底座上的两条加法路线。</div>

---

*来源：神机百见-具身解读 · https://www.shenjibailian.com/jiedu/article/vlda-delta-vs-full-future-world-model/*
