6300 次只跑一遍：Auriga 在不许「重开」的评测里拿到 57.74%，长程任务比连乘算出来的高了整整一倍
42 项任务、6300 次测试、每个案例只允许跑一次、不许重置环境——Auriga 交出的 57.74% 不算高，但它的长程任务 62.5% 比按单技能成功率连乘算出的 29.6% 高出一倍多。这个差值，就是「在线恢复」值多少钱。
- 主体：星衍智能发布通用具身 Harness 框架 Auriga，将物理感知、动作表达、执行验证与任务状态管理整合为统一交互系统，让大语言模型（本次为 GPT-6 Astra）在陌生任务中自主规划、执行与在线恢复。
- 评测协议最狠的一条：不针对目标任务预调优、不提供专家演示、单局执行、零环境重置——每个案例只跑一次，失败了也必须从当前物理状态继续。
- RoboDojo 成绩：42 项任务、5 个维度（泛化/精细操作/长程/记忆/开放）、3 个随机种子共 6300 个 Episode，平均任务成功率 57.74%、平均过程评分 64.00，两项领跑；其中记忆任务成功率 92.99%。
- RoboCasa365 Target50：换到 Franka 单臂移动机器人 + 10 个未见厨房，50 项任务 250 个 Episode，总体成功率 73.2%（单技能 92.2%、长程组合 62.5%，长程最多 15 个子任务）。
- 13 次迭代：Harness 从第 4 版的平均分 45.5 / 成功率 36.2%，提升到最终版 64.0 / 57.7%。
- 判断：这套结果最值钱的不是 57.74%，是「长程 62.5% 对单技能 92.2%」这个落差。按 0.922 的 15 次方连乘只有约 29.6%，实测翻了一倍多——多出来的那部分，正是「失败即证据 + 在线恢复」这套机制买到的。
机器人评测里有一个长期存在的漏洞，行业内人人都知道，但很少有人愿意在协议里堵上：能不能提前刷题。
仿真环境的特权是「读档」——reset 一下，重来一次。一个 Agent 可以在同一个任务上跑一百遍，找出最优策略，然后对外报一个很高的成功率。这个数字在论文里成立，在真实世界里不成立，因为真实世界没有 reset 键。
Auriga 这份结果之所以值得单独说，是因为它把这条特权关掉了：单局执行、零环境重置、零专家演示、零目标任务预调优。
| 基准 | 任务与环境 | 测试规模 | 关键成绩 |
|---|---|---|---|
| RoboDojo | 42 项任务，覆盖泛化、精细操作、长程、记忆、开放五维 | 3 个随机种子，共 6300 个 Episode | 平均成功率 57.74%，平均过程分 64.00，两项领跑 |
| RoboDojo（泛化子项） | 12 项泛化任务，物体布局随机化 | — | G 指标 46.3，领先第二名 2.4 分 |
| RoboCasa365 Target50 | Franka 单臂移动机器人，10 个未见厨房，最长 15 个子任务 | 50 项任务，250 个 Episode | 总体 73.2%；单技能 92.2%，长程组合 62.5% |
五维度里最高的和最低的放在一起看，问题就出来了。
记忆 92.99% 是最反常识的一项。机器人在长程任务里「忘掉自己在干什么」是常见失败模式，而记忆维度能到 92.99%，说明这套 Harness 的显式任务状态管理确实在起作用——它把「下一步该干什么」从模型的上下文里搬到了系统的状态机里，上下文被压缩了也不丢。
最低的 57.74% 反倒不用太担心。在一个每项任务只允许跑一次、且不许重置的协议下，57.74% 意味着超过一半的任务，大模型加通用 Harness 的组合能在第一次就干成。这个数不高，但它是在「没有专门训练过」的前提下拿到的。
RoboCasa365 给了两个数：单技能 92.2%，长程组合 62.5%。这两个数单独看都还行，放在一起就需要算一下了。
如果长程任务最多由 15 个子任务串起来，且每个子任务都按单技能 92.2% 的成功率独立完成，那么整条链的成功率应该是 0.922 的 15 次方——
0.922^5
0.922^10
0.922^15
长程组合
连乘算出来是约 29.6%，实测是 62.5%，高出一倍多。
但要把这个推算的边界说清楚：15 是子任务数的上界，实际平均步数更少，连乘值应该更高；同时长程里的子任务难度未必等于单技能任务的平均难度。所以 29.6% 只能当方向性参照，不能当「理论极限」来引用。真正的结论是定性的：恢复机制把长程成功率从「几步就崩」拉到了「六七成能走完」。
Auriga 的做法在当下的具身智能圈里算是「少数派」。
主流做法是训一个端到端的 VLA 模型：采海量真机数据，把视觉、语言、动作压进一个网络，输出直接是关节指令。这条路的好处是闭环、延迟低；代价是数据贵、换本体难、失败了不知道为什么。
Auriga 走的是另一条：大模型当大脑，Harness 当接口。模型负责理解任务、规划步骤、判断结果；Harness 负责把「我要抓那个杯子」翻译成可执行轨迹、在执行中比对实际状态、超差就截停、然后把物理证据回传给模型。
VLA 路线
成本集中在数据采集。要真实本体、要操作员、要成百上千小时。好处是学会了就是条件反射，推理便宜。
Harness 路线
成本集中在推理与工程。不用采真机数据，但每一步都要调用大模型，还要把感知、几何、执行验证的管道全部搭好。好处是换本体只要换接口。
报道里有一个细节印证了这条路线的取舍：Auriga 在 Robocasa365 上换了机器人形态——从双臂桌面平台换成 Franka 单臂移动机器人，换到 10 个没见过的厨房，同一套 Harness 仍然跑出 73.2%。
这也顺带解释了为什么它敢做「单局零重置」：这条路线的失败是可解释的。失败了有轨迹、有偏差值、有实际观测，模型能据此重规划；端到端模型失败了，往往只有一个「输出了一串不合适的关节指令」，很难从中提取可用的反馈。
稿子里最容易被忽略、但信息量最大的一组数字，是那条迭代曲线：第 4 版的平均分 45.5、成功率 36.2%，最终版 64.0 / 57.7%。
13 次改动，成功率涨了 21.5 个百分点，平均分涨了 18.5 分。而众所周知，这一路里基础模型没换——都是 GPT-6 Astra。
| 版本 | 平均过程分 | 平均成功率 |
|---|---|---|
| 第 4 版 | 45.5 | 36.2% |
| 最终版 | 64.0 | 57.7% |
| 差值 | +18.5 | +21.5 个百分点 |
这说明一件事：在同一个模型上，把执行层做对，能买来二十多个点的成功率。而执行层做对的具体内容，稿子里列了五项——动作预演、双臂协调、三维几何测量、状态追踪、障碍物检查。
星衍智能把「物理世界的自我改进」分成三层，这个分法值得记住，因为它把一堆混着说的概念拆干净了：
行业里说的「具身 RSI（递归自我改进）」，绝大多数时候指的其实是 L1——把同一道题刷很多遍。这不是自我改进，这是刷题。真正有意义的是 L3，而 L3 的前提是「失败被结构化地记录下来」。
这也是「失败即证据」这个设计的位置：它记录模型意图、规划轨迹、实际运动与执行结果，即使上下文被压缩，关键任务状态仍然保留。有了这份记录，才谈得上从失败里找共性。
但这条路还有明显没走完的部分。稿子自己列了三条：精密装配、复杂接触、长程操作，这三类仍然是难点。而 62.5% 的长程成功率，正好印证了第三条。
最后回到那个 57.74%。它不是一个能拿去跟客户谈的数，产品演示不会用它。它的价值在于提供了一个「不许作弊」的坐标：在这个坐标下，通用大模型加一套像样的执行框架，已经能在超过一半的陌生任务上第一次就干成。这个基线一旦立住，后面所有的进步都能被诚实地度量。