起点该是定值还是分布:东南大学 LeaP 只改了动作生成的起点,真机提升 33.3 个点
LeaP 把生成式机器人策略的起点从固定的标准高斯换成本体感知驱动的可学习分布,RoboTwin 15 项任务提升 25.5 个点、真机 Franka 提升 33.3 个点。但最有信息量的是那组三方对照:只学均值 78.0%,加固定噪声反而掉到 62.7%,均值加自适应方差才到 85.3%。
本篇目录
- 改的是起点,不是生成器:扩散与流匹配策略通常从与观测无关的标准高斯出发采样。LeaP 用一个两层 MLP 先验头,由本体感知联合预测起点的均值与方差,生成器的架构与求解器完全不动。
- 仿真提升 25.5 个点:RoboTwin 15 项双臂任务平均成功率 81.6%,对比共享编码器与生成器的标准高斯基线(NoPrior);高于确定性起点的 VITA 6.5 点、A2A 7.8 点。
- 真机提升更大,33.3 个点:Franka Research 3 上三项任务平均 80.0%,对比 A2A 68.3%、VITA 56.7%、NoPrior 46.7%。
- 代价极小:先验头约 0.21M 参数,占总量 13.22M 的约 1.6%。
- 关键消融是那组三方对照:仅预测均值 78.0% → 改成固定标准差为 1 的高斯噪声 降到 62.7% → 联合学习均值与状态自适应方差 85.3%。随机性本身不够,要的是随状态变化的不确定性。
- 先验该看本体感知,不是视觉:仅用本体感知 85.3%,视觉及三种视觉与状态融合方案只有 59.3%–70.3%。
动作生成该从哪儿开始
扩散模型和流匹配模型这两年成了机器人操作策略的主流。它们的共同工作方式是从一个源分布采样出噪声,再沿着学到的变换一步步去噪,最终得到一段动作序列。而这个源分布,长期以来默认取标准高斯——一个与当前观测完全无关的、固定的分布。
A2A、VITA 这类方法已经开始用本体感知或视觉信息构造起点,但它们把起点当成一个确定性的估计值,没有显式建模它的不确定性。东南大学这篇把问题重新问了一遍:起点应该是一个确定值,还是一个分布?如果是分布,方差该固定,还是随机器人状态变化?
结构上它很克制:先验头只接收本体感知特征,生成器同时接收视觉与本体感知。训练用三个联合目标——流匹配损失学变换、负对数似然损失监督先验的条件分布、对比对齐损失在特征空间建立源样本与专家动作的对应关系。
81.6% 与 80.0%,但基线不同
RoboTwin 的 15 项双臂任务上,LeaP 平均成功率 81.6%。这个数字要连着基线一起看才有意义:NoPrior 与它共享编码器、生成器和流匹配流程,只把起点换回标准高斯,两者差 25.5 个百分点。相对确定性起点的两代方法,LeaP 高于 VITA 6.5 点、高于 A2A 7.8 点。
真机上的差距更大。Franka Research 3 上做了抓取方块、关闭盒子、抓取并放置沙袋三项任务,每项 100 条遥操作演示、随机设置物体位置测 20 次。LeaP 平均 80.0%,A2A 68.3%、VITA 56.7%、NoPrior 46.7%——相对 NoPrior 提升 33.3 个百分点,比仿真里的 25.5 点还高。
只学均值 78.0%,加固定噪声掉到 62.7%,均值+自适应方差 85.3%
消融实验在抓取不同瓶子、打开笔记本电脑、交接方块三项任务上进行,每项评估 100 次。关于「先验该采用什么形式」,论文给了一组三方对照,这是整篇里最反直觉的一组数字。
| 起点形式 | 平均成功率 | 说明 |
|---|---|---|
| 仅预测均值(确定性起点) | 78.0% | 起点确定,无随机性 |
| 均值 + 固定标准差为 1 的高斯噪声 | 62.7% | 有随机性,但幅度与状态无关 |
| 均值 + 状态自适应方差(LeaP) | 85.3% | 随机性随当前状态调整 |
中间那一行是关键。给起点加上随机性,直觉上应该比确定性起点更鲁棒——结果反而掉了 15.3 个点。这说明随机性本身不是收益,随机性的形状才是。一段动作在不同状态下需要探索的幅度不一样:靠近目标时该收窄,遇到不确定的接触时该放宽。用固定方差强行注入噪声,等于在该收窄的地方乱走。
85.3% 对 59.3%–70.3%
另一组消融问的是「先验该以什么信息为条件」。保持生成器接收的信息不变,只调整先验的输入:仅用本体感知的 LeaP 平均 85.3%,而视觉及三种视觉与状态融合方案只有 59.3%–70.3%。三种融合方式都没带来提升。
源分布的可视化也支持这个分工:本体感知先验把样本放在目标动作附近,引入视觉特征的变体则容易偏离目标。论文给出的解释是——先验依据机器人状态确定与动作相关的起点,生成器再结合视觉信息细化动作。
还有两组数字值得记:训练监督方面,仅用流匹配损失训练先验为 59.7%(无先验基线 47.7%、完整模型 85.3%),去掉对比对齐或似然监督分别降到 74.7% 和 74.3%,说明两项显式监督互补;跨生成器方面,同一先验让流匹配从 47.7% 升到 85.3%,在扩散桥中从 68.7% 升到 76.7%。
13.22M 里的 0.21M,以及论文自己列的两条局限
成本方面:LeaP 总参数量 13.22M,其中先验头约 0.21M,占总量约 1.6%。收敛效率上,打开笔记本电脑任务的实验中,LeaP 训练 1000 轮达到 91% 成功率,超过四个主要基线训练 3000 轮后的表现。
论文自述了两条局限:目前的验证集中在桌面操作,对角高斯未显式建模动作维度之间的相关性。另外在消融里,表达能力更强的全协方差高斯和高斯混合模型都没超过对角高斯——这说明当前的瓶颈不在先验的表达能力,而在别处。