研究解读 · 神机百见-具身解读

起点该是定值还是分布:东南大学 LeaP 只改了动作生成的起点,真机提升 33.3 个点

LeaP 把生成式机器人策略的起点从固定的标准高斯换成本体感知驱动的可学习分布,RoboTwin 15 项任务提升 25.5 个点、真机 Franka 提升 33.3 个点。但最有信息量的是那组三方对照:只学均值 78.0%,加固定噪声反而掉到 62.7%,均值加自适应方差才到 85.3%。

本篇目录5 节 · 11
一分钟速览
  1. 改的是起点,不是生成器:扩散与流匹配策略通常从与观测无关的标准高斯出发采样。LeaP 用一个两层 MLP 先验头,由本体感知联合预测起点的均值与方差,生成器的架构与求解器完全不动。
  2. 仿真提升 25.5 个点:RoboTwin 15 项双臂任务平均成功率 81.6%,对比共享编码器与生成器的标准高斯基线(NoPrior);高于确定性起点的 VITA 6.5 点、A2A 7.8 点。
  3. 真机提升更大,33.3 个点:Franka Research 3 上三项任务平均 80.0%,对比 A2A 68.3%、VITA 56.7%、NoPrior 46.7%。
  4. 代价极小:先验头约 0.21M 参数,占总量 13.22M 的约 1.6%。
  5. 关键消融是那组三方对照:仅预测均值 78.0% → 改成固定标准差为 1 的高斯噪声 降到 62.7% → 联合学习均值与状态自适应方差 85.3%。随机性本身不够,要的是随状态变化的不确定性。
  6. 先验该看本体感知,不是视觉:仅用本体感知 85.3%,视觉及三种视觉与状态融合方案只有 59.3%–70.3%。
数据来源与边界
素材时间窗为 2026-10-03 18:00 → 2026-10-04 09:00(北京时间)。本条线索来自 AGI HUNT 2026-10-04 期的 LeaP 条目(窗口内),中文全文解读见凤凰网 2026-10-03 11:59 发布(窗口外,本号仅作细节补充,不作为窗口内依据)。论文《Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies》已被 CoRL 2026 接收,arXiv 编号 2606.17408,代码开源于 github.com/SEU-VIPGroup/LeaP,项目主页 daimeipo.github.io/LeaP。通讯作者为东南大学青年首席教授魏秀参,共同第一作者为戴美坡、庄启源、徐赫洋。原文事实包括:15 项 RoboTwin 任务 81.6%、较 NoPrior +25.5 点、真机 Franka 三项 80.0%、参数量 13.22M / 先验头 0.21M、以及四组消融数字。实验设置(每项 50 条专家演示、每种子评估 100 次、3 个种子报告、统一 DP3 PointNet 编码器)出自凤凰网解读版。文中「固定噪声反而更差是本组实验最反直觉的结论」「先验用本体感知、生成器用视觉这一分工可迁移」「桌面操作之外的泛化未验证」三项为本号判断,非论文表述,已标注为判断。论文自述的两项局限已在正文列出。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。
1问题被重新问了一遍

动作生成该从哪儿开始

扩散模型和流匹配模型这两年成了机器人操作策略的主流。它们的共同工作方式是从一个源分布采样出噪声,再沿着学到的变换一步步去噪,最终得到一段动作序列。而这个源分布,长期以来默认取标准高斯——一个与当前观测完全无关的、固定的分布。

A2A、VITA 这类方法已经开始用本体感知或视觉信息构造起点,但它们把起点当成一个确定性的估计值,没有显式建模它的不确定性。东南大学这篇把问题重新问了一遍:起点应该是一个确定值,还是一个分布?如果是分布,方差该固定,还是随机器人状态变化?

第一代
标准高斯起点:与观测无关,完全靠生成器去补救。NoPrior 基线
第二代
用观测预测一个确定性起点(VITA、A2A)。起点变成定值,但没有不确定性建模
LeaP
本体感知驱动的对角高斯,联合学习均值 + 状态自适应方差;训练与推理都保留随机采样。一段动作各时间步共享分布参数、独立采样

结构上它很克制:先验头只接收本体感知特征,生成器同时接收视觉与本体感知。训练用三个联合目标——流匹配损失学变换、负对数似然损失监督先验的条件分布、对比对齐损失在特征空间建立源样本与专家动作的对应关系。

判断:这个设计的价值不在性能,而在它是可插拔的。论文明确说先验能接入现有生成器、保持其架构和推理求解器不变。对一个已经有扩散策略在跑的团队来说,这意味着可以只改起点、不动主干就去试——试错成本几乎只有训练一轮的时间。这类「改动小、接口干净」的工作,工程上的采用率通常远高于性能更强但要求重建主干的方法。
2仿真与真机,两条曲线都给了

81.6% 与 80.0%,但基线不同

RoboTwin 的 15 项双臂任务上,LeaP 平均成功率 81.6%。这个数字要连着基线一起看才有意义:NoPrior 与它共享编码器、生成器和流匹配流程,只把起点换回标准高斯,两者差 25.5 个百分点。相对确定性起点的两代方法,LeaP 高于 VITA 6.5 点、高于 A2A 7.8 点。

LeaP(仿真 15 项)
81.6%
A2A(仿真)
73.8%
VITA(仿真)
75.1%
NoPrior(仿真)
56.1%
A2A 与 VITA 的数值由原文给出的「LeaP 分别领先 6.5 和 7.8 点」反推,NoPrior 由「+25.5 点」反推;条形长度为成功率绝对值,满幅 100%。

真机上的差距更大。Franka Research 3 上做了抓取方块、关闭盒子、抓取并放置沙袋三项任务,每项 100 条遥操作演示、随机设置物体位置测 20 次。LeaP 平均 80.0%,A2A 68.3%、VITA 56.7%、NoPrior 46.7%——相对 NoPrior 提升 33.3 个百分点,比仿真里的 25.5 点还高。

判断:真机提升(33.3 点)大于仿真提升(25.5 点),这个方向值得记一笔。通常 sim 上的增益搬到真机会缩水,这里反而放大了。一个合理的解释是:真机上物体位置随机化引入了初始状态的不确定性,而 LeaP 处理的正是「起点该带多少不确定性」——任务越不确定,这个模块的收益越大。但这是本号的推测,论文未做此项归因,按未确认处理。
3最有信息量的是那组三方对照

只学均值 78.0%,加固定噪声掉到 62.7%,均值+自适应方差 85.3%

消融实验在抓取不同瓶子、打开笔记本电脑、交接方块三项任务上进行,每项评估 100 次。关于「先验该采用什么形式」,论文给了一组三方对照,这是整篇里最反直觉的一组数字。

起点形式平均成功率说明
仅预测均值(确定性起点)78.0%起点确定,无随机性
均值 + 固定标准差为 1 的高斯噪声62.7%有随机性,但幅度与状态无关
均值 + 状态自适应方差(LeaP)85.3%随机性随当前状态调整
表:三组对照出自凤凰网解读版引述的论文消融结果,基准为三项 RoboTwin 任务、每项评估 100 次的平均成功率。

中间那一行是关键。给起点加上随机性,直觉上应该比确定性起点更鲁棒——结果反而掉了 15.3 个点。这说明随机性本身不是收益,随机性的形状才是。一段动作在不同状态下需要探索的幅度不一样:靠近目标时该收窄,遇到不确定的接触时该放宽。用固定方差强行注入噪声,等于在该收窄的地方乱走。

判断:这组数字是本号在这份材料里最想记住的一条,而且它超出了机器人范畴:凡是要给模型注入随机性的设计,先问这个随机性是不是状态相关的。固定幅度的噪声、固定温度的采样、固定的 dropout 率——这些做法在「不确定性本身随输入变化」的任务上,很可能不是帮忙而是添乱。生成式策略里的探索幅度,应该由当前状态决定,而不是由一个全局超参数决定。
4先验该看什么:本体感知,不是视觉

85.3% 对 59.3%–70.3%

另一组消融问的是「先验该以什么信息为条件」。保持生成器接收的信息不变,只调整先验的输入:仅用本体感知的 LeaP 平均 85.3%,而视觉及三种视觉与状态融合方案只有 59.3%–70.3%。三种融合方式都没带来提升。

先验 → 本体感知:机器人知道自己现在处于什么姿态、速度多少。这类信息与「该从哪个动作区间开始尝试」直接相关,是状态量。
生成器 → 视觉 + 本体感知:视觉负责判断物体在哪、该往哪去,做细粒度的动作修正。视觉给的是目标,不是起点。

源分布的可视化也支持这个分工:本体感知先验把样本放在目标动作附近,引入视觉特征的变体则容易偏离目标。论文给出的解释是——先验依据机器人状态确定与动作相关的起点,生成器再结合视觉信息细化动作。

还有两组数字值得记:训练监督方面,仅用流匹配损失训练先验为 59.7%(无先验基线 47.7%、完整模型 85.3%),去掉对比对齐或似然监督分别降到 74.7% 和 74.3%,说明两项显式监督互补;跨生成器方面,同一先验让流匹配从 47.7% 升到 85.3%,在扩散桥中从 68.7% 升到 76.7%。

判断:「先验用本体感知、生成器用视觉」这个分工,比它在本篇里的性能提升更通用。它是一个可以迁移到其他架构的设计原则:决定探索范围的信号,应该来自智能体对自身状态的感知;决定优化方向的信号,才该来自对外部世界的观察。把两者混在一起喂给同一个模块,等于让网络自己花容量去学这个分工。
5边界与效率

13.22M 里的 0.21M,以及论文自己列的两条局限

成本方面:LeaP 总参数量 13.22M,其中先验头约 0.21M,占总量约 1.6%。收敛效率上,打开笔记本电脑任务的实验中,LeaP 训练 1000 轮达到 91% 成功率,超过四个主要基线训练 3000 轮后的表现。

先验头参数量
0.21M(约 1.6%)
其余(生成器与编码器)
约 13.01M(约 98.4%)
按论文给出的 13.22M 总量与 0.21M 先验头换算,条形长度表示参数占比。

论文自述了两条局限:目前的验证集中在桌面操作,对角高斯未显式建模动作维度之间的相关性。另外在消融里,表达能力更强的全协方差高斯和高斯混合模型都没超过对角高斯——这说明当前的瓶颈不在先验的表达能力,而在别处。

判断:1.6% 的参数换 25.5 个点(仿真)与 33.3 个点(真机),这个投入产出比是这篇最硬的结论。它说明生成式策略长期被低估的一个自由度——起点——确实还有很大的可榨空间,而这块一直被默认成「标准高斯,不用调」。对做策略落地的团队来说,这是一个几乎零成本的改动项:值得在任何一条扩散/流匹配基线上先试一遍。
来源:AGI HUNT 2026-10-04 期(窗口内线索)、凤凰网 2026-10-03 11:59 中文解读(窗口外,仅作细节补充)、arXiv:2606.17408、github.com/SEU-VIPGroup/LeaP。论文自述局限:验证集中在桌面操作、对角高斯未建模动作维度间相关性。