80%、47.6%、0%:GPT-6 Astra 在三级接触阶梯上掉光了,而仿真提前算准了它会掉
十六个家务任务,三级累积难度,仿真与真机环境一一配对。同一个模型零样本跑下来:80.0%、47.6%、0.0%。真正值得记的不是那个 0,是仿真在真机之前就算出了这个 0。
- 论文:arXiv 2610.34527,Haibao Yu 等 19 位作者,2026-10-25 提交。PhysLadder 是一个分层、仿真与真机配对的接触富操作基准。
- 任务结构:16 个家务任务,三级累积——L1 接触选择与几何对齐;L2 持续接触中的力调节;L3 协调接触重构与力调节。
- 主结果:GPT-6 Astra 零样本,真机 80.0% / 47.6% / 0.0%;仿真 66.7% / 47.6% / 0.0%(每个任务 3 次试验)。
- 仿真与真机的一致性:16 个任务里 10 个两环境的成功次数完全相同,另外 6 个相差 1 次(即 3 次试验中的 1 次)。
- 作者自陈的失败点:空间推理、接触选择、力调节、协调——这四项困难常常让「局部的物理进展」累积不成「任务完成」。
- 小样本警告:每任务仅 3 次试验。按百分数反推,最接近的分数是 12/15、10/21、0/12;0/12 的 95% 置信上限约 22%——L3 的「0%」不等于「绝对做不成」。
三个数字:80.0%、47.6%、0.0%。
这是 GPT-6 Astra 零样本跑 PhysLadder 的真机成功率,从 L1 到 L3。同一套任务的仿真结果:66.7%、47.6%、0.0%。
先别急着看那个 0。真正有意思的是第二列和第一列的关系——仿真在 L1 比真机低,在 L2、L3 与真机一模一样。
PhysLadder 的设计不复杂,但很克制。16 个家务任务,全部在仿真和真机里各建一套环境,两套环境的物理参数与视觉外观一一配对,任务定义和成功判据共用一套。
三级是累积的,不是并列的:
真机 80.0%
真机 47.6%
真机 0.0%
L1 是「碰到正确的位置」。这件事视觉模型已经做得不错——找到把手、对准杯口、把插头送到插座前。80% 说明大部分时候能找到对的地方。
L2 是「碰到之后还要持续施力」。推一个抽屉、塞一个插头、拧一个瓶盖,都需要在接触状态里维持一个合适的力。47.6% 说明这件事掉了一半——能碰上,但握不住。
L3 是「一边换接触点一边调力」。这才是真实家务的常态:一只手扶着锅,另一只手去掀盖;把叠好的衣服塞进抽屉,中途要换三次着力点。0.0% 说明这件事一次都没成。
判断:这三级的划分,把「具身智能」这个词拆成了三个可以分别打分的能力。行业里常说的「机器人不够聪明」,在 PhysLadder 的坐标系里有了具体位置——不是不会找位置(L1 有 80%),是不会在接触中维持力和换手(L2 掉一半、L3 归零)。这个结论和工业界的体感是一致的:真正卡住产线落地的,从来不是「看见」,是「拿着」。
0.0% 是个很抓人的数字,但它建立在 12 次试验上。
按论文给的三级成功率和「每任务 3 次试验」推算,最接近的分数组合是 L1 的 12/15、L2 的 10/21、L3 的 0/12。其中 10/21 = 47.62%,与摘要里的 47.6% 几乎完全吻合,这给这个反推提供了一点支撑。
如果 L3 是 0/12,那么真实成功率是多少?用二项分布的精确区间算:0 次成功、12 次试验,95% 置信上限约 22%。也就是说,这个模型的 L3 能力可能在 0% 到 22% 之间的任何位置,12 次试验只够排除「明显高于 22%」这一种情况。
这不是给模型开脱。0/12 已经足够说明 L3 是当前的硬边界——12 次全败,概率上不接受「它其实会做,只是运气差」这个解释。但要把它写成「完全做不到」,就超出了数据能支撑的范围。
这篇论文最有价值的地方,是那张仿真与真机的对照。
通常人们期待仿真「高估」——仿真里跑得好,真机上打折扣。PhysLadder 给出的恰好相反:L1 仿真 66.7%、真机 80.0%,仿真低了 13.3 个百分点;L2、L3 两级,两边完全相同。
翻译成人话:这套仿真不是用来吹牛的,是用来提前告诉你哪里会崩的。
16 个任务里 10 个两环境的成功次数完全一致,另外 6 个差 1 次。差 1 次是什么概念?3 次试验里成功 2 次还是 1 次,在二项分布下这个差别不构成任何结论——它可能只是某一次抓取时物体滑了一下。
作者自己的结论很克制:对这一个模型来说,配对的仿真可以支撑一个可重复、可扩展的测试台。他们把范围明确限定在「刻画 Astra 的观测能力边界」,没有说「仿真可以替代真机」。
判断:这个结论的价值被中文语境低估了。行业里对仿真的态度长期在两极——要么「仿真没用,sim2real gap 太大」,要么「仿真够了,不用买真机」。PhysLadder 给的是第三条路:仿真的作用不是预测成功率,是预测失败模式。它算不准你在 L1 能成几次,但它能算出你在 L3 会全败。对研发来说,后者比前者有用得多——因为前者只影响排期,后者决定要不要改方案。
十天前,智元发布 Genie Sim 升级,给出的数字是「仿真与真机任务表现相关性 96.7%」。今天这篇给的是「10 个任务完全一致、6 个差 1 次」。
两个数字听起来很像,其实测的不是一回事。
Genie Sim 的 96.7% 是相关性:把一批任务在仿真和真机各跑一遍,两组成功率排成两列,算它们的相关系数。相关性高,说明「仿真里排得靠前的,真机里也靠前」——它保证的是排序,不是绝对值。
PhysLadder 测的是一致性:同一个任务、同一套判据,两边的成功次数是不是同一个数。它保证的是绝对值,代价是样本极小。
一个类比:相关性好比说「这两个班的排名几乎一样」,一致性好比说「这两个班每个人分数都一样」。前者容易做到,后者难得多。
判断:PhysLadder 只用了 16 个任务就敢说一致性,是因为它把任务做了「物理与视觉配对」——两套环境的摩擦系数、质量、光照都对齐了。Genie Sim 面对的是开放任务集,做不到逐任务配对,所以只能报相关性。两种口径不能互相替代,也不能拿去比大小。看到「96.7%」和「10/16 完全一致」被放在一起说「仿真已经很准了」,那是对两个指标的误读。
三件。
第一,它给「具身智能到什么水平了」提供了一个不靠厂商自报的刻度。过去评估一个 VLA 模型,看的是厂商自己挑的任务、自己定的判据、自己剪的视频。PhysLadder 的做法是:任务公开、环境配对、判据共用、失败也报。这套东西一旦被更多团队采用,厂商发布会上的「成功率 95%」就会被追问一句「在 PhysLadder 的 L3 上多少」。
第二,它把「接触」这件事单独拎出来做了难度轴。行业里大多数基准测的是「抓取成功」「放置到位」,都属于 L1 范畴。L2 和 L3 测的是力与协调——这才是工业装配、家庭整理、医疗护理里真正难的部分。
第三,它暴露了一个被忽略的事实:模型的能力边界不是一条平滑的曲线,是三级台阶。从 L1 到 L2 掉 32 个百分点,从 L2 到 L3 掉 47.6 个百分点。如果按这个斜率外推,即使模型在 L1 做到 95%,L3 可能还是 0——因为 L3 失败的原因不是「不够准」,是「不会在动态接触中重规划」。
这也是接下来最该看的事:不是等更强的模型把 L3 刷上去,而是看有没有人给出 L3 的分解——把「协调接触重构」再拆成更细的子能力,看看究竟是哪一步断了。0.0% 这个数字最大的用处,是它把问题精确定位到了一级,而不是留给一句「还不够智能」。