预测抓空也算答对、长序列分数近乎腰斩：WorldOracle 把世界模型的「脑补」逼到了真机面前
普林斯顿、UT 奥斯汀、多伦多、NVIDIA 和智元联合上线了一个「对答案」平台：拿真实机器人执行记录给世界模型判卷，第一批成绩单显示，机械臂画对了，物体却经常跟不上。
- 对答案式评测：WorldOracle 由普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元的研究者联合提出，10 月 16 日向开发者开放，论文编号 arXiv:2610.18826。
- 方法三步走：给模型初始画面 + 动作序列 → 模型生成预测视频 → 与同一组动作对应的真实执行记录对照评分，覆盖智元 G2、YAM 两种本体和第一视角人手场景。
- 第一批成绩很难看：五个参评模型的机械臂得分均高于物体得分——IRASim 机械臂 78.8、操作物体只有 29.1；Cosmos 3 为 89.4 对 45.4。
- 长序列近乎腰斩：DreamDojo 单视角综合分从 50.56 降到 27.08，Cosmos 3 从 53.99 降到 26.60；GE-Sim 2.0 从 73.86 降到 63.33，是五者中最稳的。
- 准确预测失败也算对：真实操作中的抓空、掉落、洒水都进了题库，防止模型把一切补写成「常见的成功结局」。
- 判断：世界模型的宣传分与真机分之间隔着一道墙，这道墙现在可以被量化了——对采买方而言，这比任何排行榜都更有用。
WorldOracle 展示的第一个案例就足够扎眼：给定真实操作的初始画面和动作序列，某个世界模型生成了一段看起来合理的预测视频——画面里机器人成功抓起了水果。而真实执行记录里，那次抓取落空了，水果还在桌上。
这就是当下世界模型评测的根本问题：如果只看生成画面的「好看程度」，模型完全可以靠脑补一个最常见的成功结局拿高分。它到底是在预测物理世界，还是在生成一段漂亮的视频，此前没有一把统一的尺子。10 月 16 日，普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 和智元的研究者把尺子造了出来：WorldOracle 评测平台向开发者开放。
流程是「对答案」式的三步：研究团队预先采集真实操作过程，记录画面与动作；开发者用评测集提供的初始画面和动作序列生成预测视频并提交；平台把预测视频与同一组动作对应的真实执行记录对照评分。
考题设计里有几个反直觉的细节。真实执行中的抓空、掉落、洒水都被纳入题库——现实中操作失败了，模型若准确预测这次失败，同样得分；这直接检验模型是遵循给定动作的后果，还是自顾自把过程补写成成功版本。任务覆盖刚体（水果抓取）、柔性（挂毛巾）、流体（倒水）、关节物体（开合抽屉）四类交互，本体覆盖智元 G2、YAM 和第一视角人手。平台设三条赛道：Core 考人工轨迹前 30 秒，Policy 考机器人策略自主执行的完整过程，Long 考完整长序列的持续预测。评分拆成四项互补指标：物理状态正确性、交互空间对齐度、关键交互区域保真度、多视角动作一致性。指标本身也经过了校验：119 名参与者比较 128 对预测视频，四项指标的判断与人类选择的一致率在 88.1%—93.2%。
两个结构性发现浮出水面。其一，五个参评模型的机械臂得分全部高于物体得分——机械臂跟着给定动作走画得像，但被操作的物体是否被带起来、去了哪里，预测经常偏离现实。其二，时间越长越露馅：DreamDojo 的单视角综合分从 50.56 跌到 27.08，Cosmos 3 从 53.99 跌到 26.60，接近减半；GE-Sim 2.0 从 73.86 跌到 63.33，短时与长序列都是五者最高、降幅也最小。模型之间的名次还会随时长洗牌：IRASim 前 30 秒不如另外三家，完整序列反而反超。
研究团队自己也写明了边界：这个基准衡量的是预测与一次真实执行记录的匹配程度，流体、柔性物体、随机接触的场景里，同样的动作可能产生多种合理结果，单次参照并不完整；三个场景的数据来源不同，成绩也不宜拿来比较本体难度或跨本体泛化能力。