# 29% 到 56%、32% 到 57%：一副 VR 头显加一台双目相机，把「全身示范」的采集成本打下来了 > 三个对齐阶段把「人怎么动」翻译成「机器人怎么动」。收益很实在：GR00T N1.7 从 29% 到 56%，pi0.5 从 32% 到 57%，而且只要一半机器人示范。但 56% 这个绝对值，说明它还没到能交付的程度。 ### TLDR - **事实**：DexRoam 是一套「从第一视角人类全身示范学习移动双臂灵巧操作」的完整系统，论文 **2026-09-28** 提交至 arXiv（**2609.35761**，cs.RO），已被 **CoRL 2026** 接收；中文解读稿 **2026-11-06** 由腾讯新闻发布。 - **采集**：不用动捕、不用外部相机、不用额外身体追踪器。只需一台消费级 **VR 头显**（稿件写明为 Meta Quest 3）加一台**头戴式双目相机**（ZED Mini），同步记录第一视角视频、全身关节运动与手部关键点，画面实时回显在头显里。 - **方法**：三级显式对齐——**本体对齐、动作语义对齐、时间对齐**，把人的动作映射进机器人动作空间，同时保留细粒度的全身耦合关系。 - **成绩**：真机实验中，人类示范让策略学习稳定获益。**GR00T N1.7 平均成功率 29% → 56%**，**pi0.5 从 32% → 57%**；并且**只用一半的机器人示范**就能追平纯机器人数据训练的效果。 - **消融**：论文称三级对齐**每一级都必要**——去掉任何一级，性能下降。 - **判断**：这套方法省的不是「采集费」，是「本体差异的适配费」。而 56% 的绝对值提醒我们：它把天花板抬高了，但没抬到能交付的高度。 ### SRC 素材时间窗为**当日 09:00 → 19:00**（2026-11-06）。论文本体发表于 **2026-09-28**（窗口外，且不在近 7 日范围内），本窗口内的新增量是**中文技术解读落地并补齐采集硬件与实验设置细节**：腾讯新闻 11-06 稿件明确 Quest 3 与 ZED Mini 的配置、采集流程，并把 arXiv 编号、项目页与两处代码仓库链接一并给出。本篇以「中文解读进入公共视野、硬件清单可核对」为窗内事件，SRC 特此说明。主源为 arXiv 摘要页（https://arxiv.org/abs/2609.35761 ），交叉源为腾讯新闻 2026-11-06 解读稿与项目页 dexroam.github.io。 **核查方式与限制**：① 两项成功率（29→56、32→57）、「一半机器人示范即可追平」与「三级对齐均必要」均直接引自 arXiv 摘要原文，**未见第三方复现**，属研究团队自测。② 摘要只写「真机实验（real-world experiments）」，**未披露任务数量、试验次数、失败判定标准**，因此 56% 与 57% 的置信区间无法评估。③ 机构归属依腾讯新闻稿件表述为「香港科技大学、北京智源研究院、北京大学等机构联合团队」；arXiv 页面仅列作者姓名，**未逐一核对每位作者的单位**。④ 「VR 头显为 Quest 3」来自中文解读稿，arXiv 摘要仅写「consumer VR headset」；「ZED Mini」同源。⑤ 采集成本低于遥操作属**判断**，本文未取任何报价做对比。⑥ 论文称已被 CoRL 2026 接收，本文未查阅会议录用名单。免责声明由模板自动附加。 ### BODY

移动双臂灵巧操作是具身智能里最难的一档任务：机器人要同时协调底盘移动、躯干姿态、双臂轨迹和手指力度，而且这些量在同一条轨迹里是耦合的——转身的幅度决定了手能伸多远，手的姿势又反过来限制躯干能转多少。

教这件事，最直接的办法是遥操作：人戴着主从设备做一遍，机器人跟着做一遍。问题是采集效率。一次示范要一名操作员全程盯着，遇到灵巧手还要多一个人协调手指；采一百条，就是一百次这样的重复。

于是研究者转向人类视频——人手每天都在做这些动作，素材几乎无限。但这里有个老问题：人的手和机器人的手不是一回事，人的身体和机器人的底盘也不是一回事。过去的做法是「简化」：把人的动作降维成末端轨迹，丢掉躯干和手指的细节。这么一简化，恰好把这类任务最依赖的东西丢了。

一、DexRoam 的关键选择：不简化，改成对齐

DexRoam 的路线是反过来的：保留全身运动，然后分三级把人的动作翻译成机器人的动作。

对齐阶段要解决的问题典型失败表现
本体对齐（embodiment）人的骨骼尺寸、关节范围与机器人不同动作在仿真里成立，上真机就撞限位
动作语义对齐（action-semantic）「抓住」在人手是五指合拢，在夹爪是两指闭合轨迹像，但抓取意图丢失
时间对齐（temporal）人做一件事的节奏与机器人执行节奏不同起步晚半拍、动作被拉长、耦合关系断裂
表注：三级对齐的名称与顺序依 arXiv 2609.35761 摘要；「典型失败表现」为本号依据三类对齐的作用推断，非论文原文实验结论。

采集端的改动更直观：把一整套动捕棚换成一台头显加一台头戴双目相机。系统实时记录第一视角视频、全身关节运动和手部关键点，不需要外部摄像头、不需要环境标记、不需要额外的身体追踪器；相机画面还会实时回显到头显里，保证采集时看到的画面和后续策略训练时的视觉观测是同一个视角。

判断：这个改动真正的价值不是省钱，是「能在现场采」。动捕棚只能在固定场地用，采到的永远是实验室里的动作；头显加双目可以拿到真实的厨房、仓库、病房里去。对移动操作来说，场景的多样性比条数更稀缺。

二、27 个百分点与 25 个百分点，哪个更值得看
GR00T N1.7（+人类示范）
56%
GR00T N1.7（纯机器人数据）
29%
pi0.5（+人类示范）
57%
pi0.5（纯机器人数据）
32%
真机实验平均成功率；柱长按百分比线性映射，数据来自 arXiv 2609.35761 摘要

两个增量分别是 +27 和 +25 个百分点，相对提升约 93% 和 78%。有意思的地方在于，两个基线差 3 个百分点（29% 对 32%），加上人类示范之后仍然只差 1 个百分点（56% 对 57%）——差距被压缩了。

判断：这说明人类示范带来的增益，跟基座模型本身的强弱关系不大。换句话说，它补的是「数据里缺的东西」，而不是「模型缺的算力」。对预算有限的团队，这个结论比分数本身有用：先补数据配比，再换更大的模型。

另一条更实用：「只用一半机器人示范就能追平纯机器人训练」。把这句话换算成钱，就是遥操作采集的预算可以砍一半。而人类采集这一侧的成本，是一台头显加一台双目相机，加上示范者的时间——量级完全不同。

但必须把话说完整：56% 和 57% 仍然不是能交付的数字。在一个真机任务集上，接近一半的失败率意味着必须有人盯着、必须有兜底流程。研究价值在于「证明了这条路能走通」，工程价值还要等两件事：一是任务集扩大后增益是否保持，二是失败模式是否可控（是随机失败，还是系统性失败）。

三、三级对齐里，最容易翻车的是时间

本体对齐是几何问题：标定骨骼长度、关节限位、连杆尺寸，做完就固定了。动作语义对齐是标注问题：把「抓」翻译成哪种夹持构型，可以靠规则加少量人工。这两级虽然麻烦，但有明确的验收方式——动作在仿真里能不能跑通。

时间对齐不一样。人做一件事的节奏带着大量隐含信息：伸手前的那一下停顿是「准备」，抓取后的轻微回拉是「确认」，放下时手会多停半秒才松开。这些节奏如果被均匀重采样掉，轨迹看着还在，但「什么时候该停」这个信息没了。

判断：移动双臂任务对时间最敏感，因为它有底盘。底盘一动，视觉观测全变，策略必须知道「先停稳再伸手」还是「边走边伸」。这个先后顺序只存在于时间维度里，空间轨迹完全一样。

论文的消融说三级都必要，但没有给出每一级的边际贡献排序。这恰恰是工程团队最想知道的：如果只能做好两级，该舍弃哪一级？从任务性质推断，答案倾向于保住时间对齐、牺牲部分本体精度——但这是判断，不是论文结论。

四、这套方法不能解决什么

第一，它解决不了「手不一样」的根本问题。人的手有 20 多个自由度、有柔软的指腹、有汗渍带来的摩擦变化；多数机器人的灵巧手在自由度、力矩、触觉上都差一截。对齐能做的是「让动作看起来对」，做不了「让接触力对」。

第二，它依赖第一视角。头戴相机拍到的画面，和机器人头部相机的位置、视角、畸变都不同。本体对齐里包含相机外参的映射，但这层映射一旦在剧烈运动中失配，观测和动作的对应关系就会漂。

第三，它没有解决评估。论文给的是平均成功率，没给任务清单和失败分类。对要落地的人来说，「56% 平均」不如「哪三类任务稳定、哪两类必挂」有用。

判断：这条路的方向是对的，但它现在的位置是「把数据成本从采集端转到了对齐端」。采集便宜了，对齐贵了——贵在要有人懂机器人运动学、懂标注规范、懂怎么设计消融。对多数团队，这不是省事，是换了一种难。

真正该等的是开源。项目页已经给了采集对齐代码和策略训练代码两个仓库，如果三级对齐的实现能跑通、能被别的本体复用，这套方法才会从「一篇好论文」变成「一条可用产线」。在那之前，把它当成方向判断，别当成采购依据。

--- *来源：神机百见-具身解读 · https://www.shenjibailian.com/jiedu/article/dexroam-quest3-wholebody-demo-groot-pi05/*