29% 到 56%、32% 到 57%：一副 VR 头显加一台双目相机，把「全身示范」的采集成本打下来了
三个对齐阶段把「人怎么动」翻译成「机器人怎么动」。收益很实在：GR00T N1.7 从 29% 到 56%，pi0.5 从 32% 到 57%，而且只要一半机器人示范。但 56% 这个绝对值，说明它还没到能交付的程度。
- 事实：DexRoam 是一套「从第一视角人类全身示范学习移动双臂灵巧操作」的完整系统，论文 2026-09-28 提交至 arXiv（2609.35761，cs.RO），已被 CoRL 2026 接收；中文解读稿 2026-11-06 由腾讯新闻发布。
- 采集：不用动捕、不用外部相机、不用额外身体追踪器。只需一台消费级 VR 头显（稿件写明为 Meta Quest 3）加一台头戴式双目相机（ZED Mini），同步记录第一视角视频、全身关节运动与手部关键点，画面实时回显在头显里。
- 方法：三级显式对齐——本体对齐、动作语义对齐、时间对齐，把人的动作映射进机器人动作空间，同时保留细粒度的全身耦合关系。
- 成绩：真机实验中，人类示范让策略学习稳定获益。GR00T N1.7 平均成功率 29% → 56%，pi0.5 从 32% → 57%；并且只用一半的机器人示范就能追平纯机器人数据训练的效果。
- 消融：论文称三级对齐每一级都必要——去掉任何一级，性能下降。
- 判断：这套方法省的不是「采集费」，是「本体差异的适配费」。而 56% 的绝对值提醒我们：它把天花板抬高了，但没抬到能交付的高度。
移动双臂灵巧操作是具身智能里最难的一档任务：机器人要同时协调底盘移动、躯干姿态、双臂轨迹和手指力度，而且这些量在同一条轨迹里是耦合的——转身的幅度决定了手能伸多远，手的姿势又反过来限制躯干能转多少。
教这件事，最直接的办法是遥操作：人戴着主从设备做一遍，机器人跟着做一遍。问题是采集效率。一次示范要一名操作员全程盯着，遇到灵巧手还要多一个人协调手指；采一百条，就是一百次这样的重复。
于是研究者转向人类视频——人手每天都在做这些动作，素材几乎无限。但这里有个老问题：人的手和机器人的手不是一回事，人的身体和机器人的底盘也不是一回事。过去的做法是「简化」：把人的动作降维成末端轨迹，丢掉躯干和手指的细节。这么一简化，恰好把这类任务最依赖的东西丢了。
DexRoam 的路线是反过来的：保留全身运动，然后分三级把人的动作翻译成机器人的动作。
| 对齐阶段 | 要解决的问题 | 典型失败表现 |
|---|---|---|
| 本体对齐（embodiment） | 人的骨骼尺寸、关节范围与机器人不同 | 动作在仿真里成立，上真机就撞限位 |
| 动作语义对齐（action-semantic） | 「抓住」在人手是五指合拢，在夹爪是两指闭合 | 轨迹像，但抓取意图丢失 |
| 时间对齐（temporal） | 人做一件事的节奏与机器人执行节奏不同 | 起步晚半拍、动作被拉长、耦合关系断裂 |
采集端的改动更直观：把一整套动捕棚换成一台头显加一台头戴双目相机。系统实时记录第一视角视频、全身关节运动和手部关键点，不需要外部摄像头、不需要环境标记、不需要额外的身体追踪器；相机画面还会实时回显到头显里，保证采集时看到的画面和后续策略训练时的视觉观测是同一个视角。
判断：这个改动真正的价值不是省钱，是「能在现场采」。动捕棚只能在固定场地用，采到的永远是实验室里的动作；头显加双目可以拿到真实的厨房、仓库、病房里去。对移动操作来说，场景的多样性比条数更稀缺。
两个增量分别是 +27 和 +25 个百分点，相对提升约 93% 和 78%。有意思的地方在于，两个基线差 3 个百分点（29% 对 32%），加上人类示范之后仍然只差 1 个百分点（56% 对 57%）——差距被压缩了。
判断：这说明人类示范带来的增益，跟基座模型本身的强弱关系不大。换句话说，它补的是「数据里缺的东西」，而不是「模型缺的算力」。对预算有限的团队，这个结论比分数本身有用：先补数据配比，再换更大的模型。
另一条更实用：「只用一半机器人示范就能追平纯机器人训练」。把这句话换算成钱，就是遥操作采集的预算可以砍一半。而人类采集这一侧的成本，是一台头显加一台双目相机，加上示范者的时间——量级完全不同。
但必须把话说完整：56% 和 57% 仍然不是能交付的数字。在一个真机任务集上，接近一半的失败率意味着必须有人盯着、必须有兜底流程。研究价值在于「证明了这条路能走通」，工程价值还要等两件事：一是任务集扩大后增益是否保持，二是失败模式是否可控（是随机失败，还是系统性失败）。
本体对齐是几何问题：标定骨骼长度、关节限位、连杆尺寸，做完就固定了。动作语义对齐是标注问题：把「抓」翻译成哪种夹持构型，可以靠规则加少量人工。这两级虽然麻烦，但有明确的验收方式——动作在仿真里能不能跑通。
时间对齐不一样。人做一件事的节奏带着大量隐含信息：伸手前的那一下停顿是「准备」，抓取后的轻微回拉是「确认」，放下时手会多停半秒才松开。这些节奏如果被均匀重采样掉，轨迹看着还在，但「什么时候该停」这个信息没了。
判断：移动双臂任务对时间最敏感，因为它有底盘。底盘一动，视觉观测全变，策略必须知道「先停稳再伸手」还是「边走边伸」。这个先后顺序只存在于时间维度里，空间轨迹完全一样。
论文的消融说三级都必要，但没有给出每一级的边际贡献排序。这恰恰是工程团队最想知道的：如果只能做好两级，该舍弃哪一级？从任务性质推断，答案倾向于保住时间对齐、牺牲部分本体精度——但这是判断，不是论文结论。
第一，它解决不了「手不一样」的根本问题。人的手有 20 多个自由度、有柔软的指腹、有汗渍带来的摩擦变化；多数机器人的灵巧手在自由度、力矩、触觉上都差一截。对齐能做的是「让动作看起来对」，做不了「让接触力对」。
第二，它依赖第一视角。头戴相机拍到的画面，和机器人头部相机的位置、视角、畸变都不同。本体对齐里包含相机外参的映射，但这层映射一旦在剧烈运动中失配，观测和动作的对应关系就会漂。
第三，它没有解决评估。论文给的是平均成功率，没给任务清单和失败分类。对要落地的人来说，「56% 平均」不如「哪三类任务稳定、哪两类必挂」有用。
判断：这条路的方向是对的，但它现在的位置是「把数据成本从采集端转到了对齐端」。采集便宜了，对齐贵了——贵在要有人懂机器人运动学、懂标注规范、懂怎么设计消融。对多数团队，这不是省事，是换了一种难。
真正该等的是开源。项目页已经给了采集对齐代码和策略训练代码两个仓库，如果三级对齐的实现能跑通、能被别的本体复用，这套方法才会从「一篇好论文」变成「一条可用产线」。在那之前，把它当成方向判断，别当成采购依据。