2550 次盲测、提升 10 到 34 个百分点:Mulligan 把「从哪里开始采集数据」变成了决策变量
加演示的收益会递减,那么固定预算下该怎么采集?斯坦福这份工作的答案不是多采,是把每一轮的初始状态选在「已经失败过的地方」。
- 问题定义得很实在:在固定预算的监督式部署轮次里,如何最大化高精度操纵任务上的提升。监督式部署指操作员摆放物体、在策略失败时介入。
- 观察到的现象:失败集中在很小一部分初始状态上,因此均匀采集把操作员大量时间花在策略本来就会的状态上。
- 核心改动是一个变量:Mulligan 把初始状态分布变成决策对象——每一轮的 episode 从「观察到的失败」和「没试过的状态」开始。
- 失败数据被真正用上了:在交互式模仿学习之外,额外训练一个价值函数,数据包含模仿学习会丢弃的失败样本。
- 评测规模是硬的:三个真机任务,在 2550 个留出、盲测的 episode 上评估,另有两个仿真任务。
- 提升是一个区间不是个点:在同等采集预算下优于均匀初始状态采样;结合基于价值的动作选择(HiL-IDQL+Mulligan),最终真机成功率提升 10 至 34 个百分点。有操作员介入时,人机团队完成 98% 的采集 episode。
prowam-progressive-visual-subgoal-world-action-model(ProWAM,世界模型的表示方式)与 stagecraft-vla-distractor-minimal-intervention(不改模型只改环境)均切模型侧或环境侧,本文切数据采集侧的采样分布,三者的干预对象不同,不构成重复。判断均为作者分析,已用「判断:」标注。收益递减之后,路在哪
模仿学习能可靠地教会机器人新任务,但有一个几乎人人都踩过的经验:每增加一条演示带来的提升会越来越小。策略已经会的地方,再给十条数据也不会更好;它还不会的地方,均匀采集又很少碰到。
Mulligan 换了一个问题框架。它不再问「还要采集多少」,而是问:给固定预算的监督式部署轮次,怎么让提升最大。所谓监督式部署,是让操作员去摆放物体、并在策略失败时介入——这也是真实部署现场最常见的形态。
均匀采集
初始状态随机采样。大部分时间落在策略已掌握的区域,操作员的介入变成重复劳动,预算被稀释。
Mulligan 的采集
初始状态本身是决策变量。每一轮从观测到的失败状态与尚未尝试过的状态开始,把预算压在信息量最高的地方。
模仿学习丢掉的,价值函数捡起来
第二个改动同样朴素:在交互式模仿学习之上,额外训练一个价值函数,而训练数据包含模仿学习通常会丢弃的失败样本。
「失败样本」在标准模仿学习里的处境一直很尴尬——演示数据范式下,失败的轨迹不进入行为克隆的目标集,往往直接被丢掉。而它们恰恰编码了「哪些状态是难的」这个信息。用它们训练价值函数,等于把这部分信息回收了。
2550、10—34、98%
2550 个留出、盲测 episode是这组数字里最硬的一个。「留出」意味着不参与训练,「盲测」意味着评估设置里排除了调参泄漏。在真机机器人论文里,这个量级的留出评测并不常见——多数真机工作的评估规模在几十到几百次量级。评测规模本身就是这篇论文可信度的主要来源。
10 至 34 个百分点是区间。摘要没有给出三个任务各自的数值,所以无法判断是「三个任务都在 10 附近、一个冲到 34」还是「 uniformly 分布」。本号按区间处理,不做单任务归因。同时,摘要未给出基线的绝对成功率,因此也推不出「从 40% 涨到 74%」这类说法——只能说提升幅度落在这个区间内。
98% 最容易被误读。原文的表述是:有操作员介入时,人机团队完成 98% 的采集 episode,在策略学习期间保持产能。这是「系统可用」,不是「机器人可用」。
四条可抄的做法与三个仍缺的数
| 可抄的做法 | 要改什么 | 成本 |
|---|---|---|
| 把初始状态分布当决策变量 | 采集脚本的起始采样逻辑 | 极低(改采样策略) |
| 优先补「没试过的状态」 | 维护一个已覆盖状态的记录 | 低 |
| 用失败样本训练评估器 | 失败日志的留存与标注 | 低到中(需留存体系) |
| 把「保持产能」作为指标 | 采集期现场不停产的度量 | 低 |
同时也要把还没给的数列出来,这比复述结论更有用:① 单轮采集需要多长时间(决定预算怎么算);② 需要几名操作员(决定人力成本);③ 基线绝对成功率是多少(决定 10—34 个百分点的实际含义)。这三项摘要均未披露。