44 次成功、60 次试验:73.3% 这个数,置信区间有 22 个百分点那么宽
11 月 19 日挂出的 Z-sight 在宇树 G1 上做了六项真机任务、每项 10 次,成功率 73.3%(44/60),比最强基线高 20 个百分点,动作块 110 毫秒。结果是真的,但它是一次 60 次抽样:同一个 73.3%,95% 置信区间大约从 62% 到 85%。这篇论文最值得学的不是方法,是它把基线一起放进同一套协议里的做法。
- 结果:宇树 G1 六项日常任务、每项 10 次,成功 44/60 = 73.3%;同协议下 Fast-WAM 53.3%、Ψ0 40.0%、GR00T N1.7 36.7%、π0.5 26.7%。
- 仿真:全身移动操作基准 SIMPLE 总体 81.9%,比文中最强基线 GR00T N1.7 高 9.6 个百分点。
- 时延:动作块 110 毫秒;做法是在 VLM 感知当前画面的同一套视觉 token 空间里预测未来,再与动作一起去噪,不做像素重建,也不另接外部目标编码器。
- 统计:44/60 的 95% 置信区间约 62%–85%;对照基线 32/60 的 41%–66%,两者只勉强分开。
- 判断:这类结果的可比性全在「同协议」三个字上,而协议细节(初始位姿、失败判定、是否人工复位)通常不公开。
先把这篇论文的数字按「跟谁比」分成两列。跟基线比,它是压倒性的:73.3% 对 53.3%,高 20 个百分点;仿真榜 81.9%,比最强基线高 9.6 个百分点。跟自己比,它是一组很小的样本:六项任务,每项十次,一共六十次。
这两句话都成立,而且不冲突。它们各自的用途完全不同。
| 模型 | G1 六项任务成功率 | 成功次数(按 60 次折算) |
|---|---|---|
| Z-sight | 73.3% | 44 |
| Fast-WAM | 53.3% | 32 |
| Ψ0 | 40.0% | 24 |
| GR00T N1.7 | 36.7% | 22 |
| π0.5 | 26.7% | 16 |
四组基线在同一套协议下跑,这件事本身就值得单独说一句。机器人领域的真机对比长期有个毛病:每篇论文用自己的初始位姿、自己的物体摆放、自己的失败判定,于是「我比 SOTA 高 15 个百分点」这句话几乎无法验证。把四个模型拉进同一套协议,比把成功率再提高五个点更有用——它让后续所有人有了一个可以吵架的共同分母。
44 次成功、60 次试验,点估计 73.3%。按二项分布正态近似,标准误是 0.733 乘 0.267 除以 60 再开方,约 5.7 个百分点;95% 置信区间因此是 62.1% 到 84.5%,宽度约 22 个百分点。
同样算一遍最强的基线:32/60 的点估计 53.3%,标准误约 6.4 个百分点,95% 区间 40.7% 到 65.9%。
点估计 73.3%
区间 62.1%–84.5%
宽度 22.4 个百分点
点估计 53.3%
区间 40.7%–65.9%
宽度 25.2 个百分点
两个区间只在 62.1%–65.9% 这不到四个百分点的窄带上重叠。也就是说,「Z-sight 比 Fast-WAM 强」这个结论勉强显著——重复一次同样的 60 次试验,结果翻过来的概率不高,但也绝不是「不可能」。
再看另外三组。Ψ0 的 40.0% 与 GR00T N1.7 的 36.7% 只差两个成功次数,在 60 次样本里这个差距完全不可区分。所以论文里那张排名表,真正有信息量的只有第一名和第二名之间的那一段,第三到第五名之间的排序应当视为噪声。
论文的方法可以一句话概括:在 VLM 感知当前画面的同一套视觉 token 空间里预测未来,再把预测与动作一起去噪。它不做像素级重建,也不另接一个外部目标编码器。
这两条「不做」各有对应的成本。做像素重建的路线(先在潜空间画出一帧未来的图,再从图里反推动作)中间多了一道解码,误差会被放大一次,且对纹理细节过度敏感——地上有块花纹地砖,模型会花算力去预测那块砖的纹路,而它对抓取毫无影响。不重建像素,等于把这部分算力省掉。
不另接外部目标编码器,省的是工程复杂度:少一个需要单独训练、单独版本管理的模块,部署时少一个失败点。代价是模型必须自己学会「什么值得关注」,这通常意味着更长的训练和更依赖数据配比。
省下来的时间体现在一个数上:动作块 110 毫秒。这个数的含义是模型每 110 毫秒输出一段动作序列,而不是每一步都重新推理。换算一下,一秒里大约九个决策点。对抓取、摆放这类任务,这个频率够用;对需要快速反应的任务(接住掉落的物体、避让突然出现的人),110 毫秒就是十厘米以上的位移差。
回到开头那组矛盾。仿真 81.9%、真机 73.3%,两个数相差不到九个百分点——这在机器人论文里算相当小的落差。对照本号 11 月 19 日拆过的另一篇:Phoenix 在 LIBERO-Plus 上报 94.8%,真机 RoboDojo 均值只有 30.0%,落差六十多个百分点。
同一个星期、同一批真机平台,两篇论文的「仿真—真机落差」差了一个数量级。原因未必是谁更诚实,很可能是基准难度不同:SIMPLE 与 RoboDojo 的任务构成不一样,后者包含更多接触密集、需要力反馈的操作。这也正是跨论文比较成功率没意义的原因——不同基准之间的数字,连量纲都不统一。
所以本篇能给出的实用结论只有三条:一,看真机成功率先看 n,n 小于一百的排序别当真;二,看基线先看是不是同协议,不同协议的「高 20 个点」不算数;三,看仿真与真机的落差,落差小的模型不一定强,但落差大的模型一定还没解决迁移。