# 6300 次只跑一遍：Auriga 在不许「重开」的评测里拿到 57.74%，长程任务比连乘算出来的高了整整一倍
> 42 项任务、6300 次测试、每个案例只允许跑一次、不许重置环境——Auriga 交出的 57.74% 不算高，但它的长程任务 62.5% 比按单技能成功率连乘算出的 29.6% 高出一倍多。这个差值，就是「在线恢复」值多少钱。
### TLDR
- **主体**：星衍智能发布通用具身 **Harness** 框架 **Auriga**，将物理感知、动作表达、执行验证与任务状态管理整合为统一交互系统，让大语言模型（本次为 **GPT-6 Astra**）在陌生任务中自主规划、执行与在线恢复。
- **评测协议最狠的一条**：不针对目标任务预调优、不提供专家演示、**单局执行、零环境重置**——每个案例只跑一次，失败了也必须从当前物理状态继续。
- **RoboDojo 成绩**：42 项任务、5 个维度（泛化/精细操作/长程/记忆/开放）、3 个随机种子共 **6300 个 Episode**，平均任务成功率 **57.74%**、平均过程评分 **64.00**，两项领跑；其中记忆任务成功率 **92.99%**。
- **RoboCasa365 Target50**：换到 **Franka 单臂移动机器人 + 10 个未见厨房**，50 项任务 250 个 Episode，总体成功率 **73.2%**（单技能 **92.2%**、长程组合 **62.5%**，长程最多 15 个子任务）。
- **13 次迭代**：Harness 从第 4 版的平均分 **45.5** / 成功率 **36.2%**，提升到最终版 **64.0** / **57.7%**。
- **判断：这套结果最值钱的不是 57.74%，是「长程 62.5% 对单技能 92.2%」这个落差。**按 0.922 的 15 次方连乘只有约 29.6%，实测翻了一倍多——多出来的那部分，正是「失败即证据 + 在线恢复」这套机制买到的。
### SRC
事实来源为机器之心 2026-11-01 09:24 的发布稿（经新浪财经转载至网易号，https://www.163.com/dy/article/LAKVMA1D05568W0A.html ），文中给出 RoboDojo 与 RoboCasa365 的完整评测口径、五维度任务构成、6300 个 Episode 的测试规模、13 次 Harness 迭代的分数曲线，以及 Project Page（https://auriga.stelledge.com/ ）、Technical Report（https://auriga.stelledge.com/assets/docs/Auriga-Technical-Report.pdf ）与代码仓库（https://github.com/lose4578/Auriga ）三处可核查入口。**素材时间窗**为前一日 18:00 → 当日 09:00（2026-10-31 18:00 → 2026-11-01 09:00）：稿件发布于 **11-01 09:24**，晚于本批 09:00 边界 24 分钟。按本站「窗内采信 + 显式标注越界」的处理定式，**本文采信但在 SRC 首段写明这一分钟级越界**；其内容本体（模型评测与开源）发生在 10-31 至 11-01 之间，非窗口外旧事重提。**核查方式与限制**：本文未打开技术报告 PDF 逐项复核，未复现任何实验；所有分数均为**发布方自评口径**，且 Auriga 是星衍智能自家框架，属**厂商自测**，无第三方复现记录。另需注意，RoboDojo 与 RoboCasa365 均为**仿真基准**，成绩不等于真机表现。**不确定边界**：① RoboDojo 总榜第二名及后续名次的具体分数，稿中只给了「领先」表述与泛化维度「领先第二名 2.4 分」，未列全表；② 57.74% 与 64.00 两个数的统计方式（是否按任务等权、是否剔除超时）未说明；③ RoboCasa365 的 250 个 Episode 相对 50 项任务是每项 5 次，与 RoboDojo 每项 150 次（6300÷42）的采样密度差一个量级，两者不可直接横比；④ 「长程最多 15 个子任务」是上界，本文用 15 次连乘做的推算因此是**上限估算**，实际平均步数更少、连乘值应更高，该推算仅用于说明恢复机制的贡献方向，不作定量结论；⑤ GPT-6 Astra 的接入方式（API 调用还是本地部署）、单次任务推理成本与延迟，全部未披露。文中判断均以「判断：」开头，文末版权与免责声明由模板自动附加。
### BODY
机器人评测里有一个长期存在的漏洞，行业内人人都知道，但很少有人愿意在协议里堵上：能不能提前刷题。
仿真环境的特权是「读档」——reset 一下，重来一次。一个 Agent 可以在同一个任务上跑一百遍，找出最优策略，然后对外报一个很高的成功率。这个数字在论文里成立，在真实世界里不成立，因为真实世界没有 reset 键。
Auriga 这份结果之所以值得单独说，是因为它把这条特权关掉了：单局执行、零环境重置、零专家演示、零目标任务预调优。
一、先看清它到底测了什么
| 基准 | 任务与环境 | 测试规模 | 关键成绩 |
|---|
| RoboDojo | 42 项任务，覆盖泛化、精细操作、长程、记忆、开放五维 | 3 个随机种子，共 6300 个 Episode | 平均成功率 57.74%，平均过程分 64.00，两项领跑 |
| RoboDojo（泛化子项） | 12 项泛化任务，物体布局随机化 | — | G 指标 46.3，领先第二名 2.4 分 |
| RoboCasa365 Target50 | Franka 单臂移动机器人，10 个未见厨房，最长 15 个子任务 | 50 项任务，250 个 Episode | 总体 73.2%；单技能 92.2%，长程组合 62.5% |
成绩与评测口径据机器之心 2026-11-01 发布稿；两个基准的 Episode 密度不同（RoboDojo 每项约 150 次，RoboCasa365 每项 5 次），不可直接横比。
五维度里最高的和最低的放在一起看，问题就出来了。
各指标口径不同、基准不同，此处仅作同一体系内的相对高低对照，不构成绝对能力排序。
记忆 92.99% 是最反常识的一项。机器人在长程任务里「忘掉自己在干什么」是常见失败模式，而记忆维度能到 92.99%，说明这套 Harness 的显式任务状态管理确实在起作用——它把「下一步该干什么」从模型的上下文里搬到了系统的状态机里，上下文被压缩了也不丢。
最低的 57.74% 反倒不用太担心。在一个每项任务只允许跑一次、且不许重置的协议下，57.74% 意味着超过一半的任务，大模型加通用 Harness 的组合能在第一次就干成。这个数不高，但它是在「没有专门训练过」的前提下拿到的。
判断：如果这套框架是专门为这 42 个任务调过的，57.74% 只能算不及格；但它是「零目标任务预调优」的，那么 57.74% 的性质就完全不同——它衡量的是通用性，不是专精度。这两件事在具身智能里几乎是对立的，能同时拿到 57.74% 和记忆 92.99%，说明它的强项在「不忘记」而不在「手很稳」。
二、长程那个数，算一遍才知道厉害在哪
RoboCasa365 给了两个数：单技能 92.2%，长程组合 62.5%。这两个数单独看都还行，放在一起就需要算一下了。
如果长程任务最多由 15 个子任务串起来，且每个子任务都按单技能 92.2% 的成功率独立完成，那么整条链的成功率应该是 0.922 的 15 次方——
前三根是按单技能 92.2% 连乘得到的理论成功率（作者推算，15 步为子任务数上界），第四根是 RoboCasa365 长程组合的实测值。柱子高度按百分比示意。
连乘算出来是约 29.6%，实测是 62.5%，高出一倍多。
判断：这个差值的来源只能是「恢复」——某一步失败了，系统没有把整条任务判死，而是截停、报告偏差、重新规划、从当前状态继续。所以 62.5% 这个数真正度量的不是「机器人多能干」，是「机器人搞砸之后有多能救」。在家庭和产线这两种场景里，后者比前者值钱得多。
但要把这个推算的边界说清楚：15 是子任务数的上界，实际平均步数更少，连乘值应该更高；同时长程里的子任务难度未必等于单技能任务的平均难度。所以 29.6% 只能当方向性参照，不能当「理论极限」来引用。真正的结论是定性的：恢复机制把长程成功率从「几步就崩」拉到了「六七成能走完」。
三、路线分歧：用大模型当规划器，还是训一个 VLA
Auriga 的做法在当下的具身智能圈里算是「少数派」。
主流做法是训一个端到端的 VLA 模型：采海量真机数据，把视觉、语言、动作压进一个网络，输出直接是关节指令。这条路的好处是闭环、延迟低；代价是数据贵、换本体难、失败了不知道为什么。
Auriga 走的是另一条：大模型当大脑，Harness 当接口。模型负责理解任务、规划步骤、判断结果；Harness 负责把「我要抓那个杯子」翻译成可执行轨迹、在执行中比对实际状态、超差就截停、然后把物理证据回传给模型。
VLA 路线
成本集中在数据采集。要真实本体、要操作员、要成百上千小时。好处是学会了就是条件反射，推理便宜。
Harness 路线
成本集中在推理与工程。不用采真机数据，但每一步都要调用大模型，还要把感知、几何、执行验证的管道全部搭好。好处是换本体只要换接口。
报道里有一个细节印证了这条路线的取舍：Auriga 在 Robocasa365 上换了机器人形态——从双臂桌面平台换成 Franka 单臂移动机器人，换到 10 个没见过的厨房，同一套 Harness 仍然跑出 73.2%。
判断：换本体不掉太多分，是 Harness 路线唯一无可替代的优势。VLA 模型换本体通常要重新采数据微调，因为这身本体的运动学已经长在权重里了；而 Harness 把「怎么动」留在执行层，模型只决定「做什么」，所以换本体等于换驱动。代价也很清楚——每一次决策都要一次大模型推理，成本随任务长度线性增长。
这也顺带解释了为什么它敢做「单局零重置」：这条路线的失败是可解释的。失败了有轨迹、有偏差值、有实际观测，模型能据此重规划；端到端模型失败了，往往只有一个「输出了一串不合适的关节指令」，很难从中提取可用的反馈。
四、13 次迭代，涨的 21.5 个百分点从哪来
稿子里最容易被忽略、但信息量最大的一组数字，是那条迭代曲线：第 4 版的平均分 45.5、成功率 36.2%，最终版 64.0 / 57.7%。
13 次改动，成功率涨了 21.5 个百分点，平均分涨了 18.5 分。而众所周知，这一路里基础模型没换——都是 GPT-6 Astra。
| 版本 | 平均过程分 | 平均成功率 |
|---|
| 第 4 版 | 45.5 | 36.2% |
| 最终版 | 64.0 | 57.7% |
| 差值 | +18.5 | +21.5 个百分点 |
数据据机器之心 2026-11-01 发布稿的 Harness Evolution 曲线；第 4 版之前的三次迭代未给分数。
这说明一件事：在同一个模型上，把执行层做对，能买来二十多个点的成功率。而执行层做对的具体内容，稿子里列了五项——动作预演、双臂协调、三维几何测量、状态追踪、障碍物检查。
判断：这五项没有一项是「更聪明的模型」，全是「更靠谱的工程」。对做落地的团队来说，这是本文最有用的那条信息：如果你的机器人成功率卡在 40% 上不去，先别急着换更大的模型或采更多数据，先把这五件事逐项补齐——它们的投入产出比，在现阶段很可能高于换模型。
五、Physical RSI 的三层，与它还没解决的事
星衍智能把「物理世界的自我改进」分成三层，这个分法值得记住，因为它把一堆混着说的概念拆干净了：
L1 任务级搜索
反复重置环境、改脚本、调参数，为某个任务找最优解。提升的是这道题的答案，换个任务要重来。
L2 单次在线适应
不重置，在一次连续执行中根据反馈调整动作。提升的是这次执行的过程，但不一定沉淀成能力。
L3 系统级能力改进
从不同任务里识别共性问题，改进底层工具、控制原语与技能机制。改进被保留，供后续任务复用。
行业里说的「具身 RSI（递归自我改进）」，绝大多数时候指的其实是 L1——把同一道题刷很多遍。这不是自我改进，这是刷题。真正有意义的是 L3，而 L3 的前提是「失败被结构化地记录下来」。
这也是「失败即证据」这个设计的位置：它记录模型意图、规划轨迹、实际运动与执行结果，即使上下文被压缩，关键任务状态仍然保留。有了这份记录，才谈得上从失败里找共性。
但这条路还有明显没走完的部分。稿子自己列了三条：精密装配、复杂接触、长程操作，这三类仍然是难点。而 62.5% 的长程成功率，正好印证了第三条。
给做机器人落地的团队三句可直接用的话：① 评测你自己的系统时，先问「能不能重开」——如果允许重试，报出来的成功率至少打七折才是真实水平；② 如果你的系统失败后只能整单重来，那长程任务的成功率会随步数指数衰减，15 步就是三成；③ 想抄的话，先抄 Preview–Execute–Verify 这个三段式：执行前把轨迹画出来给人看，执行中比对实际状态并设容差，超差就截停而不是硬走完——这三段不需要换模型，明天就能加。
最后回到那个 57.74%。它不是一个能拿去跟客户谈的数，产品演示不会用它。它的价值在于提供了一个「不许作弊」的坐标：在这个坐标下，通用大模型加一套像样的执行框架，已经能在超过一半的陌生任务上第一次就干成。这个基线一旦立住，后面所有的进步都能被诚实地度量。
事实来源：机器之心 2026-11-01 09:24 发布稿（https://www.163.com/dy/article/LAKVMA1D05568W0A.html ）；项目页 https://auriga.stelledge.com/ 、技术报告与代码仓库见原文。所有成绩为发布方自评，仿真基准，无第三方复现。
---
*来源：神机百见-具身解读 · https://www.shenjibailian.com/jiedu/article/auriga-harness-robodojo-57-74-zero-shot/*