九类推理、三档难度、成功与失败样本并重:智元把数据集的考纲从「操作难度」改成了「决策难度」
「补货到 3 瓶」这道小学算术题,机器人做不对的原因不是抓不起来,是不知道该先数还是先抓。智元第四期数据集把考纲换了——不再比手稳不稳,比的是现场条件变了以后,下一步该干什么。
- 开源内容:10 月 22 日,智元机器人正式开源 AGIBOT WORLD 2026 第四期「具身推理」(Physical Reasoning)数据集,官方称其为行业首个真实场景 Physical Agent 数据集。
- 考纲变化:任务设计重点首次从「操作难度」转向「决策难度」,不再比动作精度,比的是现场条件不同时的判断与取舍。
- 设计骨架:围绕物品数量、遮挡关系、位置占用、任务进度四类关键因素,刻意采集同一任务在不同状态与约束下的决策与执行过程。
- 能力覆盖:覆盖九类核心推理能力,包括属性约束选择、情境条件化选择、前置条件推理、目标导向搜索、长程规划、记忆状态维护等,并按 Easy / Medium / Hard 三档形成梯度。
- 标注结构:以 Task Frame、子任务区间和动作步骤刻画任务结构;动作层面用 Dense Prompt 明确目标对象、操作部位、左右臂分工与预期结果,并提供框、点、线空间标注及成功与干扰标注。
- 判断:把「错误样本」和「成功样本」一起放出来,是这份数据集最值钱的部分——它第一次让「失败后怎么调整」变成了可以训练的东西。
官方给的例子很朴素:把客房迷你吧的饮料补到 3 瓶。机器人要先区分空瓶与满瓶、数清现有数量,再决定回收几瓶、补充几瓶——初始状态不同,操作步骤完全不同。
这句话是理解整个第四期的钥匙。传统操作类数据集隐含一个前提:任务可以被拆成一串相对固定的动作。但真实任务不是这样。补货任务里,「抓一瓶饮料放上去」这个动作本身并不难,难的是判断现在该抓还是该收。
第二个例子更能说明问题:从多个抽屉里找洗漱用品。哪怕当前画面一模一样,「已经查过哪个抽屉」也会改变下一步的搜索位置。这意味着机器人必须维持一个不在画面里的状态——它查过什么。
操作难度导向:考的是抓得准不准、放得稳不稳、轨迹平不平。指标是成功率、位姿误差。同一任务的操作流程基本一致。
决策难度导向:考的是该做什么、先做什么、接下来做什么。指标无法只看成功率,要看路径选择是否正确。同一任务的操作流程随初始状态变化。
判断:考纲换掉的那一刻,「成功率」这个指标就失效了。因为同一个任务在不同初始状态下的难度根本不同,把所有样本的成功率平均起来,得到的数字既不能指导优化,也不能横向比较。智元没有给出替代指标,但这套数据结构本身在暗示:行业需要一个按初始状态分层的评价体系。
第四期的采集设计围绕物品数量、遮挡关系、位置占用、任务进度四类关键因素展开,刻意采集同一任务在不同状态与约束下的决策与执行过程。
官方举了一个遮挡关系的例子:目标同是取出盒子后的钥匙——空间够就直接抓,被挡住了就得先移开盒子。目标相同,现场条件不同,行动路径就不同。
由此组织出的九类核心推理能力是:属性约束选择、情境条件化选择、操作可行性评估、前置条件推理、目标导向搜索、状态与数量推理、长程规划、记忆状态维护、子任务顺序推理。
三档梯度的设计意图,官方说得很清楚:既方便研究者拆解单项能力,也能观察它们在复杂任务里的组合表现。这一点对做模型评测的人是实打实的便利——过去想测「记忆状态维护」,往往得自己造任务;现在它是被单列出来的一档。
还有一处容易被忽略:官方明确这些推理能力在真实任务中交叉出现——补货要同时做商品辨别、数量判断与状态维护;寻物要结合搜索策略、历史记录与空间条件持续决策。也就是说,九类不是九个独立科目,而是会同时出现在一条轨迹里的九种压力。
数据集最有工程价值的部分在数据链路层面。官方的表述是三层结构:
这套标注的意义在于:研究者可以在同一条任务链路中关联任务目标、当前阶段、操作要求与执行结果。过去高层决策研究和动作策略训练是两条线,各用各的数据;现在它们被缝在了同一条链上,可以做联合训练与端到端训练。
官方列出的用途有三类:开展联合训练与端到端训练,提升模型的情境理解、过程记忆与任务推理能力;用于具身 Agent 的决策—执行协同训练——结合当前情境与执行历史选择子目标,由动作策略完成操作,再依据结果更新任务状态、调整后续安排;长期看推动机器人进入家庭服务、酒店餐饮和商业运营的完整流程。
官方也明确,本期数据集已用于智元即将推出的 Agent 框架与新一代基座大模型的训练。这句话的分量在于:这不是一份纯粹对外捐赠的数据,它同时是自家下一代模型的原料。
| 已披露 | 未披露 |
|---|---|
| 九类推理能力的名称 | 数据总规模(条数 / 小时数 / 场景数) |
| 四类关键因素 | 三档难度各自的样本分布 |
| Easy / Medium / Hard 三档梯度 | 采集所用的机器人本体型号与数量 |
| 标注结构(Task Frame / Dense Prompt / 空间标注) | 开源协议具体条款 |
| 成功与错误样本并重 | 基线模型在该数据集上的成绩 |
判断:缺少基线成绩是这份发布最实际的短板。数据集好不好用,最终要看有没有人在上面跑出可复现的分数,以及这个分数和真机表现的相关性有多强。在第一个第三方基线出现之前,「九类推理」仍然是一份考纲,不是一份成绩单。对准备用它做训练的团队,建议先做一件小事:拿 Medium 档单独训一轮,看单项能力是否真的能被隔离出来——如果九类之间有强耦合,那么分档的价值就要打折。