300 小时、28993 段、其中 195 小时指尖有接触:Sharpa 把触觉数据从私产变成了公共品
一家做手的公司,把 300 小时带指尖触觉的操作数据按 CC BY-NC 4.0 放了出去。这件事的意义不在「最大」,而在它把触觉这一层从各家紧捂的私产,第一次摆到了公共货架上——同时也把「到底缺多少数据」这个问题量化了。
- 规模:SharpaDex v1.0 含 300 小时、28,993 段演示、59 项任务,覆盖工具使用、装配、柔性(可变形)物体处理与长时程任务。
- 接触密度是关键指标:约 195 小时的数据中至少有一个指尖处于接触状态,其中 55 小时为双手同时接触——也就是说,有三分之一的时间是「在空中移动」。
- 模态:同步提供多视角 RGB、指尖触觉图像、指尖力/力矩与 65 维关节动作,十指指尖每帧均有触觉信号。
- 标注粒度:分层语言标注,含任务描述与 217,642 个时间锚定的子任务片段,覆盖 89.3% 的帧,另有 45 个技能标签。
- 怎么拿:以 LeRobot v3.0 / v2.1 格式提供,许可为 CC BY-NC 4.0(署名 + 非商业)。
- 判断:真正的信号不是「最大公开数据集」这个头衔,而是这套数据把「触觉还差几个数量级」这件事,第一次摆成了可以数的数字。
标题里通常被放在最前面的是「300 小时」和「28,993 段」。但对做操作的人来说,更有信息量的是另外两个:195 小时有接触,和217,642 个时间锚定的子任务片段。
300 小时里有 105 小时是没有接触的——接近、定位、转移、回位。这些帧对训练「怎么走过去」有用,对训练「怎么捏住」没用。真正喂给触觉策略的有效样本是 195 小时,其中双手协同的只有 55 小时。
判断:这个比例本身就是一条信息。它说明采集团队知道什么是有价值的样本,并且愿意把这个结构公开出来——而不是拿总时长去充数。一个只报「300 小时」的数据集和一个敢报「195 小时接触 / 55 小时双手」的数据集,可信度不在一个层级。评估任何操作数据集时,第一个该问的问题不是「多少小时」,而是「多少小时里手是碰着东西的」。
视频数据的逻辑:互联网上有近乎无限的人类操作视频,量够大就能覆盖长尾。代价是没有力——像素里没有测力计,看不出人捏瓶子用了几牛顿。
触觉数据的逻辑:每一帧都带真实的力与接触位置,能学到「多紧算紧」。代价是采集极贵——要本体、要手、要人去一遍遍做。
这两条路各有断层。视频路线缺力,触觉路线缺量。SharpaDex 属于后者的补给,而且补给的方式很讲究:它把触觉图像、力/力矩、多视角 RGB、65 维关节动作放在同一时间轴上同步对齐,等于给了研究者一个可以任意切模态的输入集——想只用视觉做基线,或者验证「加了触觉能涨多少」,同一批数据就能对上。
判断:这类数据集真正的价值往往不在它自己的指标,而在它能不能成为一把尺子。当所有人都能在同一批数据上测同一个任务时,「加触觉到底值不值」才从争论变成可复现的实验结果。这一点比「最大」重要得多。
许可条款是 CC BY-NC 4.0:可以署名后自由使用、修改、再分发,但不得用于商业目的。
对做产品的人,这一行的含义很实在:拿它验证想法没问题,拿它训一个要卖的模型就得回头谈。这不是苛刻,而是数据资产的本分——采集这批数据的成本是真金白银堆出来的机器人、传感器和人工时。
判断:Sharpa 同时卖手(W02)、卖人形(D01)、卖采集手套(AE01),现在又放出带触觉的数据集。这三件事放在一起看是完整的一条链:手套记录人怎么动,手负责复现,电子皮肤测接触,数据集把这条链沉淀成资产。硬件是入口,数据才是它真正想占的位置。对国内做灵巧手与触觉的团队,这是一个明确的信号——单点零件的竞争已经结束,接下来比的是「谁手里有别人拿不到的接触数据」。
把它放到坐标系里看:视觉-语言-动作模型今天动辄在百万小时级的人类视频上预训练,而这个被称作「同类最大」的触觉数据集,量级是百小时。中间差着三到四个数量级。
所以「最大」这个头衔要打折听——它说的是在带指尖触觉的公开数据里最大,不是「数据够了」。恰恰相反,它把「触觉数据还差多远」这件事第一次量化了:如果连公认最大的公开集都只有 195 小时有效接触,那么行业里真实可用的触觉样本总量,很可能比外界以为的还要少一个量级。
判断:这条发布对行业的实际作用是立标尺,而不是补缺口。它的出现会让后续所有触觉数据集都必须回答同样几个问题:多少小时、多少小时有接触、多少双手、标注到什么粒度、什么许可。能被这样比较,本身就是进步。反过来,如果一年之后同类公开数据仍停留在百小时量级,那说明的不是大家不愿意共享,而是触觉采集的成本结构还远没有到可以规模化的阶段——那时候该被质疑的是采集范式,不是共享意愿。