研究解读 · 神机百见-具身解读

80%、47.6%、0%:GPT-6 Astra 在三级接触阶梯上掉光了,而仿真提前算准了它会掉

十六个家务任务,三级累积难度,仿真与真机环境一一配对。同一个模型零样本跑下来:80.0%、47.6%、0.0%。真正值得记的不是那个 0,是仿真在真机之前就算出了这个 0。

一分钟速览
  1. 论文:arXiv 2610.34527,Haibao Yu 等 19 位作者,2026-10-25 提交。PhysLadder 是一个分层、仿真与真机配对的接触富操作基准。
  2. 任务结构:16 个家务任务,三级累积——L1 接触选择与几何对齐;L2 持续接触中的力调节;L3 协调接触重构与力调节。
  3. 主结果:GPT-6 Astra 零样本,真机 80.0% / 47.6% / 0.0%;仿真 66.7% / 47.6% / 0.0%(每个任务 3 次试验)。
  4. 仿真与真机的一致性:16 个任务里 10 个两环境的成功次数完全相同,另外 6 个相差 1 次(即 3 次试验中的 1 次)。
  5. 作者自陈的失败点:空间推理、接触选择、力调节、协调——这四项困难常常让「局部的物理进展」累积不成「任务完成」。
  6. 小样本警告:每任务仅 3 次试验。按百分数反推,最接近的分数是 12/15、10/21、0/12;0/12 的 95% 置信上限约 22%——L3 的「0%」不等于「绝对做不成」。
数据来源与边界
第一手来源为 arXiv 预印本 2610.34527《How High Can GPT-6 Astra Climb in Contact-Rich Manipulation? PhysLadder: A Hierarchical, Matched Sim-Real Benchmark for Physical Interaction》(https://arxiv.org/abs/2610.34527 ),Haibao Yu 等 19 位作者,2026-10-25 提交,项目页另见 GitHub。第二层为二手解读:Let's Data Science 2026-10-27 的报道(letsdatascience.com ↗ ),该文逐项列出了三级成功率并明确了「每个任务 3 次试验」与「10 个任务两环境一致、6 个任务差 1 次」这两条关键限定;Machine Dawn 的「Today in Robotics」榜单(更新至 2026-10-28 00:48 UTC)将其列为当日前十;arXiv 论文日刊的 sim2real 与 manipulation 分类页在 2026-10-25 收录该文。素材时间窗按本批规定为前一日 18:00 → 当日 09:00(2026-10-28 18:00 → 2026-10-29 09:00)。窗口锚点必须写明:论文提交日为 10-25(早于窗口 3 天),本窗口内的新增量有两项——①Machine Dawn 的榜单在 2026-10-28 00:48 UTC(北京时间 10-28 08:48)完成更新并将其列入当日「最后 48 小时」排名,属于首次进入英文行业日更榜单;②Let's Data Science 的细读稿在 10-27 完成,逐条列出了三级数字与试验次数,使「仿真与真机一致性」这一层结论第一次可以被逐项核对。本号采信的数字全部来自论文摘要与这两家二手解读的重合部分;论文正文的消融实验与失败案例分析本号未获取,因此不引用。反推已标注:文中 12/15、10/21、0/12 三组分数是作者按 80.0%、47.6%、0.0% 反推的最接近分数组合(其中 10/21 = 47.62% 与 47.6% 高度吻合,12/15 = 80.0%、0/12 = 0.0% 为整数解),论文摘要未逐级披露任务分配,因此「L1 有 5 个任务、L2 有 7 个、L3 有 4 个」这一拆分属推断,不是论文原文。置信区间为作者计算:0/12 在二项分布下的 95% 置信上限按 1−0.05^(1/12) 计算约 22.1%,该计算假设各次试验独立同分布,实际任务内相关性会使区间更宽。不确定边界:①评测只覆盖 GPT-6 Astra 一个模型,作者自己也把结论限定为「刻画 Astra 在递增交互需求下的能力边界」;②每任务 3 次试验的样本量,使单任务层面的任何差异都不具统计意义,6 个任务的「差 1 次」完全在噪声范围内;③「仿真与真机匹配」是否对其他模型成立,论文未验证;④L3 的 0.0% 是「12 次试验全部失败」,不等于该级任务不可能完成。与本站既有稿件的差异:本站 595 号写 VLDA 把「想象未来」换成「只学变化」(98.5% 对 73%),是模型架构层面的取舍;592 号写智元 Genie Sim 的 96.7% 相关性该怎么读,是企业仿真平台的验证口径;本篇是第三个角度——一个独立的、仿真与真机配对的分层基准,第一次让「模型在哪一级开始崩」变成可测量的事。文中判断为作者观点,已用「判断:」标注;文末版权与免责声明由模板自动附加。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。

三个数字:80.0%、47.6%、0.0%。

这是 GPT-6 Astra 零样本跑 PhysLadder 的真机成功率,从 L1 到 L3。同一套任务的仿真结果:66.7%、47.6%、0.0%。

先别急着看那个 0。真正有意思的是第二列和第一列的关系——仿真在 L1 比真机低,在 L2、L3 与真机一模一样。

三级阶梯,测的是三种不同的能力

PhysLadder 的设计不复杂,但很克制。16 个家务任务,全部在仿真和真机里各建一套环境,两套环境的物理参数与视觉外观一一配对,任务定义和成功判据共用一套。

三级是累积的,不是并列的:

L1
接触选择与几何对齐
真机 80.0%
L2
持续接触中的力调节
真机 47.6%
L3
协调接触重构与力调节
真机 0.0%

L1 是「碰到正确的位置」。这件事视觉模型已经做得不错——找到把手、对准杯口、把插头送到插座前。80% 说明大部分时候能找到对的地方。

L2 是「碰到之后还要持续施力」。推一个抽屉、塞一个插头、拧一个瓶盖,都需要在接触状态里维持一个合适的力。47.6% 说明这件事掉了一半——能碰上,但握不住。

L3 是「一边换接触点一边调力」。这才是真实家务的常态:一只手扶着锅,另一只手去掀盖;把叠好的衣服塞进抽屉,中途要换三次着力点。0.0% 说明这件事一次都没成。

判断:这三级的划分,把「具身智能」这个词拆成了三个可以分别打分的能力。行业里常说的「机器人不够聪明」,在 PhysLadder 的坐标系里有了具体位置——不是不会找位置(L1 有 80%),是不会在接触中维持力和换手(L2 掉一半、L3 归零)。这个结论和工业界的体感是一致的:真正卡住产线落地的,从来不是「看见」,是「拿着」。

那个 0.0%,先别当结论

0.0% 是个很抓人的数字,但它建立在 12 次试验上。

按论文给的三级成功率和「每任务 3 次试验」推算,最接近的分数组合是 L1 的 12/15、L2 的 10/21、L3 的 0/12。其中 10/21 = 47.62%,与摘要里的 47.6% 几乎完全吻合,这给这个反推提供了一点支撑。

如果 L3 是 0/12,那么真实成功率是多少?用二项分布的精确区间算:0 次成功、12 次试验,95% 置信上限约 22%。也就是说,这个模型的 L3 能力可能在 0% 到 22% 之间的任何位置,12 次试验只够排除「明显高于 22%」这一种情况。

L1 真机 12/15
80.0%
L2 真机 10/21
47.6%
L3 真机 0/12
0.0%
L3 的 95% 上限
约 22%
前三条为按摘要成功率反推的最接近分数(论文未逐级披露任务分配);第四条为作者按二项分布 1−0.05^(1/12) 计算的 95% 置信上限,假设试验独立同分布。

这不是给模型开脱。0/12 已经足够说明 L3 是当前的硬边界——12 次全败,概率上不接受「它其实会做,只是运气差」这个解释。但要把它写成「完全做不到」,就超出了数据能支撑的范围。

判断:小样本是这类具身基准的通病,不是这一篇的失误。真机试验的成本摆在那里——每任务 3 次试验、16 个任务、48 次 rollout,已经是很实的投入了。问题在于,用 3 次试验去区分「47.6%」和「66.7%」是没有意义的:两者相差 3 次成功,而单任务的噪声就是 1 次。所以这篇论文真正可信的结论只有一条——L2 到 L3 之间有一道断崖,而不是三级各是多少。
仿真的价值,不是「更乐观」,是「提前报错」

这篇论文最有价值的地方,是那张仿真与真机的对照。

通常人们期待仿真「高估」——仿真里跑得好,真机上打折扣。PhysLadder 给出的恰好相反:L1 仿真 66.7%、真机 80.0%,仿真低了 13.3 个百分点;L2、L3 两级,两边完全相同。

翻译成人话:这套仿真不是用来吹牛的,是用来提前告诉你哪里会崩的。

16 个任务里 10 个两环境的成功次数完全一致,另外 6 个差 1 次。差 1 次是什么概念?3 次试验里成功 2 次还是 1 次,在二项分布下这个差别不构成任何结论——它可能只是某一次抓取时物体滑了一下。

作者自己的结论很克制:对这一个模型来说,配对的仿真可以支撑一个可重复、可扩展的测试台。他们把范围明确限定在「刻画 Astra 的观测能力边界」,没有说「仿真可以替代真机」。

判断:这个结论的价值被中文语境低估了。行业里对仿真的态度长期在两极——要么「仿真没用,sim2real gap 太大」,要么「仿真够了,不用买真机」。PhysLadder 给的是第三条路:仿真的作用不是预测成功率,是预测失败模式。它算不准你在 L1 能成几次,但它能算出你在 L3 会全败。对研发来说,后者比前者有用得多——因为前者只影响排期,后者决定要不要改方案。

和 Genie Sim 的 96.7% 是什么关系

十天前,智元发布 Genie Sim 升级,给出的数字是「仿真与真机任务表现相关性 96.7%」。今天这篇给的是「10 个任务完全一致、6 个差 1 次」。

两个数字听起来很像,其实测的不是一回事。

Genie Sim 的 96.7% 是相关性:把一批任务在仿真和真机各跑一遍,两组成功率排成两列,算它们的相关系数。相关性高,说明「仿真里排得靠前的,真机里也靠前」——它保证的是排序,不是绝对值。

PhysLadder 测的是一致性:同一个任务、同一套判据,两边的成功次数是不是同一个数。它保证的是绝对值,代价是样本极小。

一个类比:相关性好比说「这两个班的排名几乎一样」,一致性好比说「这两个班每个人分数都一样」。前者容易做到,后者难得多。

判断:PhysLadder 只用了 16 个任务就敢说一致性,是因为它把任务做了「物理与视觉配对」——两套环境的摩擦系数、质量、光照都对齐了。Genie Sim 面对的是开放任务集,做不到逐任务配对,所以只能报相关性。两种口径不能互相替代,也不能拿去比大小。看到「96.7%」和「10/16 完全一致」被放在一起说「仿真已经很准了」,那是对两个指标的误读。

这份基准真正改变的事

三件。

第一,它给「具身智能到什么水平了」提供了一个不靠厂商自报的刻度。过去评估一个 VLA 模型,看的是厂商自己挑的任务、自己定的判据、自己剪的视频。PhysLadder 的做法是:任务公开、环境配对、判据共用、失败也报。这套东西一旦被更多团队采用,厂商发布会上的「成功率 95%」就会被追问一句「在 PhysLadder 的 L3 上多少」。

第二,它把「接触」这件事单独拎出来做了难度轴。行业里大多数基准测的是「抓取成功」「放置到位」,都属于 L1 范畴。L2 和 L3 测的是力与协调——这才是工业装配、家庭整理、医疗护理里真正难的部分。

第三,它暴露了一个被忽略的事实:模型的能力边界不是一条平滑的曲线,是三级台阶。从 L1 到 L2 掉 32 个百分点,从 L2 到 L3 掉 47.6 个百分点。如果按这个斜率外推,即使模型在 L1 做到 95%,L3 可能还是 0——因为 L3 失败的原因不是「不够准」,是「不会在动态接触中重规划」。

这也是接下来最该看的事:不是等更强的模型把 L3 刷上去,而是看有没有人给出 L3 的分解——把「协调接触重构」再拆成更细的子能力,看看究竟是哪一步断了。0.0% 这个数字最大的用处,是它把问题精确定位到了一级,而不是留给一句「还不够智能」。

来源:arXiv 2610.34527(Haibao Yu 等 19 位作者,2026-10-25);Let's Data Science 2026-10-27;Machine Dawn「Today in Robotics」2026-10-28 更新。素材窗口:2026-10-28 18:00 → 2026-10-29 09:00。