同一个模型,换掉工具层,分数从 1.90 到 31.39:这套开源框架把「接口」变成了可测变量
清华与伯克利把「机器人怎么被模型调用」做成了一套统一接口。同一个 Qwen 模型,换掉工具层,RoboDojo 分数从 1.90 涨到 31.39。更值钱的是另一组数:去掉深度只掉 12%,去掉相机标定掉 71%。
- 发布方与产物:清华丁宁、刘知远、徐梦迪、周伯文团队联合伯克利 Pieter Abbeel(BAIR 联合主任)团队,开源 uni-robot-agent,为 Robot-Use Agent 提供一套统一、模块化的 Harness。论文 arXiv:2611.01560,代码在 GitHub Open-RUA/uni-robot-agent。
- 同一模型、换工具层:Qwen3.8-Flash-Next 在 RoboDojo 上,用 RoboProbe 得 1.90 分,用 uni-robot-agent 得 31.39 分(成功率 25%),相差 16.5 倍。模型权重没变。
- 标定比深度更值钱:同时给深度与相机标定 35.89 分;去掉深度、留标定 31.39 分(−12.5%);再去掉标定、只剩 RGB 与本体状态 9.13 分(−70.9%)。
- 技能库不是关键:关掉预定义技能库,Qwen 从 31.39 掉到 30.31,保留 96.6% 的成绩——说明分数不靠封装好的任务技能。
- 成本差 20 倍:平均每个任务 API 费用,Qwen 1.09 美元、DeepSeek 0.94 美元、GPT-6 Astra 21.29 美元。
- 判断:这篇的价值不在 31.39 这个分数,在于它把「接口设计」从工程细节变成了可测量的自变量——这是过去两年具身评测里最缺的一环。
先把最容易误读的一处说清:31.39 分不是"开源模型打败了闭源模型"。
同一张表里,GPT-6 Astra 用这套框架拿到 51.90 分。31.39 是 Qwen3.8-Flash-Next 的成绩。两个数不存在竞争关系。
真正值得看的对比在这一行:同样是 Qwen3.8-Flash-Next,用 RoboProbe 是 1.90 分,用 uni-robot-agent 是 31.39 分。
模型没换,权重没换,任务没换。换的只是"模型怎么调用机器人"这一层。
| 方案(同为 Qwen3.8-Flash-Next) | RoboDojo 得分 | 成功率 |
|---|---|---|
| RoboProbe | 1.90 | 未披露 |
| RPent | 7.75 | 未披露 |
| GAP Hybrid(结合 π₀.₅) | 21.01 | 未披露 |
| uni-robot-agent | 31.39 | 25% |
| uni-robot-agent + GPT-6 Astra | 51.90 | 46.67% |
1.90 到 31.39,是 16.5 倍。
这个倍数在具身评测里不常见。过去两年同类工作提升通常是几个百分点到十几个百分点——换模型、加数据、调提示词,能拿到 5 到 10 分已经算显著。
31.39 之所以能跳这么远,是因为它治的不是"模型不会",而是"模型被喂了错的信息"。
论文里举的例子很朴素:机器人抓一个物体,模型要根据图像和机械臂位置算抓取坐标。如果图像是上一时刻的,机械臂状态却已经更新,算出来的坐标就是错的。uni-robot-agent 做的事之一,是把相机图像、标定信息和机器人状态绑定到同一时刻。
另一件是执行侧的:请求去重、监测机械臂是否停滞、把执行结果和新的观测回传,让模型判断任务成没成。
判断:这类"接口工程"过去不被算作研究成果,因为它看起来只是把系统接好。但 1.90 与 31.39 的差距说明,在机器人操作这件事上,"系统接得对不对"对成绩的影响,比"模型聪明不聪明"更大。这也解释了为什么很多实验室的复现做不出来——不是模型差,是时间戳、坐标系、单位、反馈格式对不上。
全文最硬的一组数在这里。研究团队做了一次逐步减信息的实验,只用 RGB 图像与机器人本体状态,逐项拿掉深度和标定。
去掉深度,掉 12.5%。去掉标定,掉 71%。
Astra 那组也一样:55.83 → 55.04(几乎不掉)→ 31.29(掉 43%)。
判断:这一段结论比分数本身更有用——相机标定的价值远高于深度图。含义是:如果你的机器人只有 RGB 相机,别急着加深度模组,先把标定做准、把多视角几何算对;反过来,如果标定不准,加多少深度都救不回来。这条经验对做二次开发交付的团队是直接的:现场部署时最该花时间的是标定流程,不是堆传感器。
补充一点原文没有强调但可以推出来的:只靠 RGB 时模型仍能完成部分空间定位(9.13 分不是 0),说明它确实在做三角测量。论文另有一处佐证——即使是 GPT-6.1 Sol,仍有约 31.5% 的三角测量调用没通过几何一致性检查。这个错误率,就是"没有深度时的真实天花板"。
这套框架支持三种模式:直接调用工具、Code as Policy(模型写代码操控)、Hybrid(VLM 与 VLA 协作)。团队还留了一个 Clean Mode,只保留 move、hold、finish、capture_scene 四个基础工具。
关掉技能库与技能编写功能后,Qwen 的综合得分从 31.39 降到 30.31,保留 96.6%;成功率从 25% 降到 24.58%。
用 Clean Mode(四个工具)时,Qwen 与 Astra 分别保留完整工具配置 90.4% 与 90.5% 的得分,而 token 用量分别减少 35.7% 与 78.8%。
判断:"预置一堆技能"这条路,收益比想象中小得多。96.6% 这个数说明,模型的分数主要来自标准化感知与运动工具加自身推理,而不是来自人类提前写好的"抓取技能""放置技能"。这对工具链设计的启示很直接:与其给模型一百个技能,不如给它四个可靠的基础动作,再把上下文管好。token 降 36%–79% 而分数保住九成,这在按 token 计费的场景里就是直接的成本下降。
再看成本那一栏:平均每任务 API 费用 Qwen 1.09 美元、DeepSeek 0.94 美元、Astra 21.29 美元。同框架下达到 25 分所耗,Astra 用 740 万 token、42.6 分钟;Qwen 用 2350 万 token、95.5 分钟;DeepSeek 用 4990 万 token、99.2 分钟。
一个反直觉的地方:Astra 单任务贵 20 倍,但达到同一分数只用了十分之一的 token 与一半时间。算总账,谁便宜要看任务数量——做少量高价值任务,贵的模型更划算;做大规模评测,便宜的模型更划算。
团队比对了 13 个不同家族、代际、规模的模型,发现机器人操作能力与模型规模、发布时间没有简单对应关系。Qwen3.5、3.6、3.7 都没有完整任务成功记录,到 3.8 才出现:27B 成功率 8.06%,Flash-Next 到 25%。一个参数更小的 27B,做到了旧版大模型做不到的事。
失败轨迹被归成四类:
四类里,几何计算这一项的改善幅度最大(81.8% → 1.5%),也最不像"智能"问题——它就是坐标变换算得对不对。
判断:把"机器人操作能力"拆成这四项之后,很多宣称就被证伪了。一个模型在 MMMU-Pro 上分数高,不代表它能算对相机到机械臂的变换;一个模型能写代码,不代表它知道手腕该转多少度。论文最后把这四项与 ERQA、MMMU-Pro、ScreenSpot-Pro、LiveCodeBench v6 做了相关性分析,结论是"操作能力可能是不同领域基础能力的组合泛化"——这句话翻译过来就是:没有专门的"机器人智商"这一项,只有一堆通用能力在物理世界里的合成。
第一,评测的"特权信息屏蔽"是这套框架最值得学的地方,但也是复现难点。团队在主要仿真实验里只给 RGB、相机标定、本体状态与任务指令,不给深度真值、物体 CAD、隐藏场景标注、任务验证器反馈,也不允许外网访问。这套约束很硬,硬到别人很难在自家环境里一比一复刻——所以 31.39 是"在这套条件下"的成绩,不是绝对水平。
第二,真机 19 项评测的输入条件不齐。Qwen 与 Astra 有 D405 深度,π₀.₅ 与 Dream-1 只有 RGB,原文自己点明了"成绩差异不能完全归因于模型本身"。因此"Qwen 领先微调后 π₀.₅ 5.75 分"这句话,在严格意义上不成立为模型对比。
第三,RoboDojo 是仿真基准。仿真里能拿到的物体精确三维位置、CAD 模型,在真机上没有;真机上的光照、反光、柔性件形变,仿真里也没有。31.39 这个数能说明接口设计的重要性,不能说明这套框架在客户现场能跑多稳。
框架已经接入 ARX One、松灵 Piper-X 等真机,智元 G2 与宇树 G1 在接入中。等这些真机跑出稳定的整班数据,才能判断这套接口是"评测友好"还是"部署可用"。