同一个模型,对外说 12 倍、论文写 25 倍:英伟达这条视觉规划路线,提速的是哪一段
论文摘要写的是「3D 点运动预测约 25 倍」,团队对外讲的是「动作解码 12 倍、整体机器人推理 5.1 倍」。三个数不矛盾,但它们量的不是同一段流水线——这正是机器人延迟讨论里最常见的混淆。
- 事实:arXiv 2611.08449《VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding》v1 于 2026-11-05 18:44 UTC 提交(北京时间 11-06 凌晨),作者含英伟达、约翰霍普金斯等机构研究者。方法核心是让一个轻量 drafter 一次前向就吐出整个视觉基元(点、框、轨迹),而不是逐坐标 token 自回归。
- 论文摘要认的数:2D 与 3D 轨迹任务上预测误差一致下降;3D 点运动预测生成速度约 25 倍(原文标注为 preliminary single-rollout 初步单次测量);以 VFlash 规划为条件的 world action model 在 MolmoSpaces 四个任务套件上平均成功率 70.2%,基线 62.6%。
- 团队对外口径(另一套):动作解码最高 12 倍、整体机器人推理 5.1 倍、3D 轨迹误差最多降低 61%、3D 点运动预测生成速度快 约 25 倍。前三个数出自研究者社媒转述,经中文科技日报 2026-11-09 汇总。
- 横向对照:同期另一篇《TacitVLA》(arXiv 2610.17540,v1 2026-10-13)走的是反方向——保留推理训练,但让动作不等当前这次推理文本,同等性能下延迟最多降 3.4 倍,相同延迟下成功率最多高 17.1 个百分点。
- 判断:两条路线砍的是同一段东西——串行解码。 一处砍在「视觉基元要不要一个个吐」,一处砍在「动作要不要等文本写完」。它们提速的位置都在规划与解码,而不是感知与执行。
- 判断:把「整体推理 5.1 倍」读成「端到端快 5 倍」是本题最大的误读。 机器人的控制回路至少四段,规划只占其中一段;规划快 5 倍,端到端可能只快 1.3 倍。
先说一件很小但很典型的事:同一条工作,同一天,出现了三个倍速数字。
论文摘要写的是——3D 点运动预测的生成速度约 25 倍。团队在社交平台上讲的是——动作解码最高 12 倍、整体机器人推理 5.1 倍、3D 轨迹误差最多降 61%。
数字不打架。它们量的是流水线上不同的段。而「机器人的延迟到底卡在哪」这件事,恰恰是被这种「都叫提速」的说法搅浑的。
先把问题讲清楚。视觉语言模型给机器人做规划时,输出的不是一句话,是一串空间基元:一个点、一个框、一条轨迹。轨迹可以很长,几百上千个坐标。
传统做法是逐 token 自回归——一个坐标一个坐标地往外吐。轨迹越长,吐得越久。这就是「更丰富的预测越来越贵」的来源。
VFlash 的做法是:一次前向,吐出一整个基元。它用一个轻量 drafter 并行预测这个基元的所有坐标,布局按基元类型、维度、长度自适应——短框紧凑,长轨迹变长。
这里有个容易被忽略的设计选择,也是它真正的巧处:空间精度不需要复现自回归模型的精确 token 序列。VFlash 直接在标注过的基元上训练,只要预测在结构上合法就接受,不要求与目标 token 逐个对齐。
这句话的技术含量在于,它把「生成」从「模仿某个特定模型的输出序列」里解绑出来了。自回归模型吐出来的 token 序列只是它自己的习惯路径,不一定是唯一正确的路径。允许绕开它,才有了并行的空间。
结果层面,论文给的是两条:2D 和 3D 轨迹任务上误差一致下降;以 VFlash 规划为条件的 world action model,在 MolmoSpaces 四个任务套件上平均成功率 70.2%,基线 62.6%。
提高了 7.6 个百分点。这个数不大,但方向是对的——规划得更快,同时规划得更准,而不是用精度换速度。
机器人要动一下,延迟至少经过四段:
现在再读那三个数:
25 倍——3D 点运动预测的生成速度。这是最窄的一段,只算基元生成本身,而且原文标了「初步、单次测量」。
12 倍——动作解码。比基元生成宽一点,可能已经把下游动作头算进去了。
5.1 倍——「整体机器人推理」。这是最宽的一个,但它宽的是推理,不含感知前处理、不含伺服执行、不含通信。
三个数字从窄到宽依次变小:25 → 12 → 5.1。这条递减曲线本身就是答案——越往外圈算,被摊薄的加速比越少。
判断:这条曲线的形状,比任何一个单点数字都有信息量。它说明 VLA 的延迟瓶颈正在从「模型算得慢」往「模型之外的部分占比变大」移动。当规划被加速 10 倍之后,剩下的时间里感知编码和执行就变成了新的大头——那时候再优化解码,收益会迅速趋近于零。
同期还有一篇走反方向的论文,值得放在一起看。
《TacitVLA》的前提是:让模型先写一段推理文本再动,确实提升了 VLA 的表现,但代价是延迟——每一个以推理文本为条件的动作,都必须等自回归解码把文本写完。
它的发现很反常识:动作并不需要等到文本,也不需要以文本为条件,就能享受到推理带来的好处。原因是推理监督在训练阶段已经改变了主干网络的表征;推理期再让动作去读这段文本,收益很小,成本很大。
所以它让动作专家完全不看当前这次调用生成的推理。在长程任务里,推理文本同时充当情节记忆,那就把每一条记忆在动作执行过程中顺手写出来,而不是动手之前先写完。
结果:四个基准(RoboMME、RMBench、LIBERO、PhysicalAI-AV)上,与显式推理版本性能持平,延迟最多低 3.4 倍;与同架构但不做推理训练的版本比,延迟相同,成功率最多高 17.1 个百分点。绝对值上,RoboMME Counting 82.7% 对此前最好 66.8%,RMBench 77.5% 对 56.5%。
把两篇放在一张表上,会看到它们其实在拆同一堵墙:
| VFlash | TacitVLA | |
|---|---|---|
| 砍的是什么 | 输出的形式:基元不再逐 token 吐 | 输出的依赖:动作不再等文本 |
| 训练侧代价 | 改为在标注基元上训练,放弃 token 级对齐 | 仍按标准流程训练写推理,只改推理期的依赖关系 |
| 提速位置 | 视觉规划解码 | 推理文本生成与动作之间的串行等待 |
| 验证方式 | 仿真基准(MolmoSpaces)成功率 | 四个基准,含真机操作与闭环驾驶 |
判断:这两篇合起来说明一件事——「会思考的机器人」这个卖点,在工程上正在被拆成两半。一半是「被思考训练过的主干」,这部分要保留;一半是「推理时真的把思考写出来再等它写完」,这部分正在被当作浪费删掉。对采购方的含义很直接:你要的不是一台当场思考的机器,是一台被思考训练过的机器。
三个用法要分开。
能用:判断技术路线的方向。VLA 的解码成本确实是当前可优化空间最大的一段,两家顶级团队同一个月从两个方向下手,说明这个判断在业内是共识。
慎用:把倍速直接换算成产品指标。25 倍是单次测量的初步结果,5.1 倍不含执行。如果一台机器人原本端到端 200 毫秒,规划占 120 毫秒,规划快 5 倍后总时延变成 104 毫秒——只快了不到一倍。这就是摊薄。
不能用:把仿真成功率当交付承诺。MolmoSpaces 上的 70.2% 是任务套件平均,不是「在你的车间里 70.2%」。这个区别在报价与验收里是致命的。
再补一个容易漏掉的约束:并行解码改变的不只是速度,还有误差的形态。自回归逐 token 生成时,误差是逐步累积的、可被后续 token 部分修正;一次性并行吐出整个基元,误差是同时落地的,没有互相修正的机会。论文说误差一致下降,但那是平均意义上的——在长轨迹的尾部、在遮挡边界,误差分布是否变厚,摘要里没有回答。
判断:如果要判断这类加速能不能真的上产线,我只看一个数——同一任务重复执行一百次,成功率的方差有没有变大。快而稳才有意义,快而不稳只是把失败提前了。