297 万条视频、9.62 亿帧:地平线绕开了「逐帧估深度」这条老路
一个只管「东西在哪、多远、自己朝哪」的模型,喂了 297 万条视频、9.62 亿帧。官方稿只说「多项指标 SoTA」,一个百分比都没给——而媒体替它补了一个 41.7%。这两个数之间的落差,比模型本身更值得读。
- 事实:2026 年 11 月 18 日,地平线机器人实验室发布 LoFT(Looped Foundation Transformer for Video Geometry),从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,定位是为机器人空间感知、环境理解与具身学习提供几何基础。
- 架构:双循环 Transformer——LB1 做通用几何特征提取(局部与全局时序注意力聚合跨帧信息),LB2 做由粗到细的几何与姿态估计,并把相机位姿与内参反馈回下一轮特征计算。
- 数据:约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态。
- 评测:在 SpatialBench(12 个数据集、98 个连续视频场景)、ClassicBench(7 个经典视频重建基准)、VRBench(机器人/自动驾驶/通用视频)三套体系中,与 VGGT-Ω、DA3-Giant 等对比,官方表述为「多项深度估计指标达到 SoTA」。
- 落差:官方稿全篇没有给出任何一个提升百分比;「动态物体深度估计提升 41.7%」这个数只出现在二次传播稿里。判断:官方不量化,通常意味着口径还没算清,或者算了但不好看。
先把三个数放在一起:297 万条视频、9.62 亿帧、三套评测。
这三个数描述的是一个只做一件事的模型——给你一段普通 RGB 视频,它告诉你每一帧的深度、拍摄时相机在哪、朝哪、镜头参数是多少,然后把整段视频还原成一个三维场景。
它不认东西。它不知道画面里是杯子还是螺丝刀。它只知道这些东西在哪里、离多远、和自己是什么空间关系。
过去做这件事的标准做法是:把视频拆成一帧一帧,每帧单独估深度,再用后处理把相邻帧拼起来,靠优化器强行对齐。
这条路能跑,但有两个天生的问题。
第一个是误差累积。每帧都是独立估的,帧与帧之间的深度尺度可能有细微差异,拼接时靠优化器去抹平。抹一次没事,抹一百次之后,场景就开始整体漂移——墙面歪了、地面倾斜了、远处的东西跑到近处来。
第二个是动态物体。一个走动的人,在第 1 帧和第 30 帧位置不同。逐帧估计时,模型会把「人变了位置」误判成「相机在动」,于是整段轨迹被这个人的走动带偏。这是所有基于视觉的位姿估计在真实场景里最常见的失败模式。
LoFT 的做法是把视频当成一个连续体,而不是一串图片。它的双循环结构里,第一循环(LB1)用局部与全局时序注意力跨帧聚合信息,第二循环(LB2)显式估计相机位姿与内参,然后把这组相机状态反馈回下一轮的特征计算。
这个反馈的设计是整篇技术稿里最值得注意的一句话。它意味着模型不是「先提特征、再算位姿」,而是「算完位姿、拿位姿去修正特征、再算一遍」。这正是传统视觉里迭代优化的思路——先给一个粗解,用它去约束下一次观测,逐步收细。
翻完整篇官方稿,关于性能的表述只有两句:「多项深度估计指标达到 SoTA」「深度估计表现尤为突出」。
没有「提升 X%」,没有「误差降低到 Y」,没有「比上一代快 Z 倍」。
对照一下同类发布会的常规做法:一个模型只要有一项指标比 SOTA 好,通稿里一定会出现那个数,而且要加粗。这次没有。
与此同时,二次传播稿里出现了一个很具体的数:动态物体深度估计提升 41.7%。这个数不在官方稿里,也不在 IT 之家那篇几乎照抄官方稿的报道里。
「多项深度估计指标达到 SoTA」
「深度估计表现尤为突出」
三套评测体系名称与对比对象
零个百分比增益
「动态物体深度估计维度
性能提升达 41.7%」
该数值未见于官方稿
单一来源,未获确认
两种可能。一种是官方觉得没必要把数字写进品牌稿——技术细节留给论文和模型卡。另一种是这个 41.7% 有非常特殊的计算口径,写进通稿容易被追问「分母是什么」。
不管是哪一种,对读的人来说结论是一样的:这个 41.7% 现在不能当官方数据用。
297 万条序列、9.62 亿帧。这个规模在三维重建领域算大——多数开源重建模型的数据量在百万帧量级,这里高了一个数量级以上。
但放到整个 AI 的尺度里看,9.62 亿帧并不算惊人。一个千亿参数的语言模型,训练 token 数动辄以万亿计。视觉模型的数据量小两三个数量级,是这一行的常态,原因是视频的标注与清洗成本远高于文本——每一帧都要过一致性检查,动态场景还要区分「物体在动」和「相机在动」。
所以技术稿里那句「搭建了统一的三维重建数据处理与训练平台」,其实比 9.62 亿帧这个数字更重要。
数据多不难,难的是让 297 万条序列的尺度、坐标系、深度范围彼此可比。一条用手机拍的室内视频和一条无人机穿峡谷的视频,深度分布差了几个数量级;如果把这两类直接混在一起训练,模型学到的会是一个谁都不准的平均值。所谓「统一平台」,做的就是把它们拉到一个可比的尺度上——清洗、筛选、采样,三步里任何一步松一点,后面全部白做。
地平线的主业是智能驾驶,官方稿自己的表述是「每三台智能汽车就有一台搭载地平线智驾」。
一家做智驾芯片与方案的公司,发布一个机器人视觉基座,表面上是「跨界」,实际上是把本业最硬的那块能力单独拎出来卖。
智驾最核心的问题从来不是「这是什么车」,而是「我在哪条车道、离前车多远、路面是什么坡度」。这些问题全部是几何问题。语义识别在智驾里当然也重要,但它建立在几何之上——先知道物体在哪,才谈得上它是什么、要不要躲。
机器人面临的是同一套问题,只是更严苛:车在结构化道路上跑,路面基本平整、光照相对可控;机器人在室内、在工地、在乐园里跑,地面可能油污、光照可能逆光、面前随时有人穿来穿去。
第一,别把「几何基座」当成「能力提升」。位姿和深度是前置条件,不是能力本身。给一个 VLA 配上更准的几何,它不会突然学会拧螺丝,只是失败的方式会变——从「抓空」变成「抓偏一点」。前者一眼看得出,后者要测很久才发现。
第二,这类模型真正的价值在「换场地」。固定工位上,标定一次能用很久,几何模型的边际收益接近零。真正吃力的是那种「今天在这个展厅、明天在另一个乐园」的活——每换一个场地就要重新标定、重新建图、重新对齐坐标系。一个能直接从视频里恢复场景几何的模型,省掉的正是这一段。
第三,等实测,别等通稿。官方给了项目主页,这是唯一值得跟的入口。三套评测都是公开基准,任何人可以复现;真要看它行不行,应该看它在自己手上的真实素材上跑成什么样,而不是看它在 SpatialBench 上排第几。
最后说一句这篇稿子最诚实的地方:它没有承诺机器人会因此变聪明。它只说,给机器人一个几何基础。
这个措辞很克制,也很准确。2026 年的具身智能,缺的往往不是「更聪明的脑子」,是「更可靠的眼睛」。一个能把 297 万条视频压成空间感的模型,解决的是后者。前者还得另找答案。