30 秒的仿真行走要跑 2.77 小时:银河通用这份 GPT-6 Astra 评测,最硬的数字在延迟那一栏
银河通用系统性地测了 GPT-6 Astra 在六个域上当具身策略的表现:导航 92%、移动操作 38.7%、运动五次尝试零成功。但最该被抄下来的是延迟那一栏——一段 30 秒的仿真行走,要调 250 次模型、平均每次 39.86 秒,而且推理期间物理是暂停的。
- 六个域,分数梯度极陡:导航 RxR 指令跟随 92%、HM3D 物体搜索 82%;移动操作 RoboCasa365 38.7%;夹爪操作混合控制 48%;灵巧操作 50%。
- 运动是塌的:单一障碍赛道连续 5 次尝试,没有一次到达终点。
- 人形全身操作:30 项 HumanoidBench 任务中有 13 项超过基线方法——不到一半。
- 延迟才是硬约束:50 个 RoboDojo 实例下,策略辅助消耗 6.248 亿 tokens,直接控制消耗 11.32 亿 tokens。
- 最狠的换算:一段 30 秒的行走,需要 250 次模型调用,平均每次 39.86 秒,且推理期间物理暂停。等价于真实时间约 2.77 小时,放大约 332 倍。
- 官方结论自己说了:有用任务决策与可靠物理控制之间存在断层。
但分数梯度比总分有信息量得多
先看清楚这份材料的性质:作者方是银河通用(Galbot)团队,评测是他们自己设计、自己跑的,属于厂商自评。这类材料最容易出问题的地方是挑对自己有利的基准,所以正确的读法不是看「总分」,而是看分数的分布形状。
分布是这样的:导航 92% 与 82%,夹爪操作 48%,灵巧操作 50%,移动操作 38.7%,人形全身操作 30 项里赢 13 项,运动 5 次尝试 0 次到终点。
延迟:30 秒仿真 ≈ 2.77 小时真实时间
这份摘要里最有价值的数字不在成功率表里,而在最后一段关于推理延迟的说明:在每种条件下 50 个 RoboDojo 实例,策略辅助消耗 6.248 亿 tokens,直接控制消耗 11.32 亿 tokens;一段 30 秒的行走,需要 250 次模型调用,平均每次 39.86 秒。
把这两个数字乘起来:250 × 39.86 = 9,965 秒,约合 2.77 小时。也就是说,一段在仿真里标称 30 秒的行走,按真实推理耗时算是 2.77 小时,时间被放大了约 332 倍。
仿真口径:摘要明确写了「物理在推理期间暂停(physics paused during inference)」。这意味着机器人不会在模型思考的 39.86 秒里摔倒、滑落或撞上东西——最难的那一半被人为拿掉了。
真机口径:如果物理不暂停,每次调用之间世界已经变了 39.86 秒。按 250 次调用、每次都要重新感知与纠偏算,失败率必然高于仿真。摘要未给出真机的对应数字。
48% 与 50% 都是「混合控制」的成绩
有一个细节很容易被略过:夹爪操作的 48% 和灵巧操作的 50%,都不是 GPT-6 Astra 单独干出来的,而是混合控制的结果——夹爪那一项是与 π0.5 配合,灵巧那一项是「经验引导」下的 DexJoCo 试验。摘要同时指出,直接的手内控制难以协调手指接触。
这段话翻译过来是:大模型负责把任务目标纠正过来、把接触前的条件准备好,然后交给一个学过的策略去执行。这不是过渡方案,这大概就是这两年的工程现实。
另外两个限定词也值得原样抄下来:HM3D 物体搜索的 82% 后面跟着「但搜索会产生大量绕路」;运动的 0/5 后面跟着「尽管稳定性和前进距离有改善」。原文自己给的限定条件,比任何第三方评论都可信。
把延迟当成一等公民写进架构
| 能力层 | 本次表现 | 工程含义 |
|---|---|---|
| 高层任务决策 / 纠错 | 导航 92%、指令跟随强 | 可交给大模型,异步、低频、允许秒级延迟 |
| 中层技能编排 / 接触准备 | 与 π0.5 混合达 48% | 混合控制,大模型定目标、学习策略出动作 |
| 底层连续控制(运动、手内) | 0/5、直接手内控制吃力 | 必须交给本体侧控制器,不能等云端 |
把这张表摆出来,是因为它把一个常被混为一谈的问题拆开了:业界常说「大模型进机器人」,但进的是哪一层,决定了完全不同的工程方案。上层可以上云、可以慢慢想;底层必须在本地、必须几十赫兹。中间那一层的接口怎么定,才是真正的产品设计。
对做机器人交付的团队,还有一条更实际的:既然上层的调用延迟是几十秒量级,那么任务的原子粒度必须按「一次调用能干完多少」来切。切得太碎,一个任务要调几百次,时间全花在等模型上;切得太粗,一次调用里世界变了没人纠偏。这个粒度,是这个行业还没人给出标准答案的地方。