产品发布 · 神机百见-具身解读

297 万条视频、9.62 亿帧:地平线绕开了「逐帧估深度」这条老路

一个只管「东西在哪、多远、自己朝哪」的模型,喂了 297 万条视频、9.62 亿帧。官方稿只说「多项指标 SoTA」,一个百分比都没给——而媒体替它补了一个 41.7%。这两个数之间的落差,比模型本身更值得读。

一分钟速览
  1. 事实:2026 年 11 月 18 日,地平线机器人实验室发布 LoFT(Looped Foundation Transformer for Video Geometry),从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,定位是为机器人空间感知、环境理解与具身学习提供几何基础。
  2. 架构:双循环 Transformer——LB1 做通用几何特征提取(局部与全局时序注意力聚合跨帧信息),LB2 做由粗到细的几何与姿态估计,并把相机位姿与内参反馈回下一轮特征计算。
  3. 数据:约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态。
  4. 评测:在 SpatialBench(12 个数据集、98 个连续视频场景)、ClassicBench(7 个经典视频重建基准)、VRBench(机器人/自动驾驶/通用视频)三套体系中,与 VGGT-Ω、DA3-Giant 等对比,官方表述为「多项深度估计指标达到 SoTA」。
  5. 落差:官方稿全篇没有给出任何一个提升百分比;「动态物体深度估计提升 41.7%」这个数只出现在二次传播稿里。判断:官方不量化,通常意味着口径还没算清,或者算了但不好看。
数据来源与边界
主源为地平线官方技术稿 2026-11-18《地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征》(horizon.auto ↗ ,另经地平线官方公众号同文发布),该稿给出模型全称、双循环架构分工、训练数据规模、三套评测体系的构成与对比对象、项目主页(horizonrobotics.github.io/robot_lab/loft),以及后续方向(联合重建与生成、原生多模态泛化、自监督扩展)。复述源为 IT 之家 2026-11-19 消息与网易号 2026-11-19 转载,两者参数与官方稿一致。41.7% 这个数字出自腾讯新闻聚合页的一篇二次传播稿,官方稿与 IT 之家稿均未出现该数值,本篇因此将其单列为「二次传播口径」,不作为官方数据引用。素材时间窗为前一日 18:00 → 当日 09:00(2026-11-18 18:00 → 2026-11-19 09:00);官方稿只标注日期未标具体时刻,中文媒体定稿集中在 11-19 凌晨至上午,本篇按「窗口前沿条目」处理并在此注明。 边界与不确定:①官方稿只写「多项指标达到 SoTA」,未给出任何具体差距,因此本文不引用任何官方未公布的增益数值;②本文未采用官方稿附带的评测表格截图中的逐项数值——该表在传播过程中出现 OCR 错位,无法确认列序与行对应关系,强行引用即为编造;③41.7% 为二次传播口径,单一来源、未获官方确认,本文仅用于说明「官方不量化 / 媒体替它量化」这一现象,不作为模型性能结论;④「双循环」「反馈位姿」等机制描述均转述官方表述,本文未做代码级复核;⑤地平线是一家以智能驾驶为主业的公司(官方稿自述「每三台智能汽车就有一台搭载地平线智驾」),其发布视觉基座的战略动机属推断;⑥所有关于技术路线选择、几何与语义分工、数据门槛的判断均为作者判断,以「判断:」开头。版权与免责声明由模板自动附加。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。

先把三个数放在一起:297 万条视频、9.62 亿帧、三套评测。

这三个数描述的是一个只做一件事的模型——给你一段普通 RGB 视频,它告诉你每一帧的深度、拍摄时相机在哪、朝哪、镜头参数是多少,然后把整段视频还原成一个三维场景。

它不认东西。它不知道画面里是杯子还是螺丝刀。它只知道这些东西在哪里、离多远、和自己是什么空间关系。

一、它绕开的那条路,问题出在「拼」上

过去做这件事的标准做法是:把视频拆成一帧一帧,每帧单独估深度,再用后处理把相邻帧拼起来,靠优化器强行对齐。

这条路能跑,但有两个天生的问题。

第一个是误差累积。每帧都是独立估的,帧与帧之间的深度尺度可能有细微差异,拼接时靠优化器去抹平。抹一次没事,抹一百次之后,场景就开始整体漂移——墙面歪了、地面倾斜了、远处的东西跑到近处来。

第二个是动态物体。一个走动的人,在第 1 帧和第 30 帧位置不同。逐帧估计时,模型会把「人变了位置」误判成「相机在动」,于是整段轨迹被这个人的走动带偏。这是所有基于视觉的位姿估计在真实场景里最常见的失败模式。

LoFT 的做法是把视频当成一个连续体,而不是一串图片。它的双循环结构里,第一循环(LB1)用局部与全局时序注意力跨帧聚合信息,第二循环(LB2)显式估计相机位姿与内参,然后把这组相机状态反馈回下一轮的特征计算。

这个反馈的设计是整篇技术稿里最值得注意的一句话。它意味着模型不是「先提特征、再算位姿」,而是「算完位姿、拿位姿去修正特征、再算一遍」。这正是传统视觉里迭代优化的思路——先给一个粗解,用它去约束下一次观测,逐步收细。

判断:这个循环的意义不在精度,在「知道自己站在哪」。一旦模型在推理时持续维护一个相机状态,它对动态物体的误判就会下降——因为「人在动」和「我在动」这两个假设,会在位姿的连续性上被区分开。这也是为什么二次传播稿会把 41.7% 这个提升挂在「动态物体深度估计」这一项上:如果真有这个数,它应该出在这里。
二、官方一个百分比都没给,这件事本身就是信息

翻完整篇官方稿,关于性能的表述只有两句:「多项深度估计指标达到 SoTA」「深度估计表现尤为突出」。

没有「提升 X%」,没有「误差降低到 Y」,没有「比上一代快 Z 倍」。

对照一下同类发布会的常规做法:一个模型只要有一项指标比 SOTA 好,通稿里一定会出现那个数,而且要加粗。这次没有。

与此同时,二次传播稿里出现了一个很具体的数:动态物体深度估计提升 41.7%。这个数不在官方稿里,也不在 IT 之家那篇几乎照抄官方稿的报道里。

官方稿口径

「多项深度估计指标达到 SoTA」
「深度估计表现尤为突出」
三套评测体系名称与对比对象
零个百分比增益

二次传播口径

「动态物体深度估计维度
性能提升达 41.7%」
该数值未见于官方稿
单一来源,未获确认

两种可能。一种是官方觉得没必要把数字写进品牌稿——技术细节留给论文和模型卡。另一种是这个 41.7% 有非常特殊的计算口径,写进通稿容易被追问「分母是什么」。

不管是哪一种,对读的人来说结论是一样的:这个 41.7% 现在不能当官方数据用。

判断:一条可以长期用的经验——当一家公司在自己的主场稿里回避量化,通常是两个原因之一:数字不够漂亮,或者口径还没定死。前者是公关选择,后者是技术诚实。这两种情况都不该被媒体替它补数。读者最容易在这一步被带走:官方说「领先」,媒体补一个「41.7%」,最后传播出去的就变成了「官方称提升 41.7%」。
三、9.62 亿帧听着多,放在语言模型旁边不算多

297 万条序列、9.62 亿帧。这个规模在三维重建领域算大——多数开源重建模型的数据量在百万帧量级,这里高了一个数量级以上。

但放到整个 AI 的尺度里看,9.62 亿帧并不算惊人。一个千亿参数的语言模型,训练 token 数动辄以万亿计。视觉模型的数据量小两三个数量级,是这一行的常态,原因是视频的标注与清洗成本远高于文本——每一帧都要过一致性检查,动态场景还要区分「物体在动」和「相机在动」。

所以技术稿里那句「搭建了统一的三维重建数据处理与训练平台」,其实比 9.62 亿帧这个数字更重要。

数据多不难,难的是让 297 万条序列的尺度、坐标系、深度范围彼此可比。一条用手机拍的室内视频和一条无人机穿峡谷的视频,深度分布差了几个数量级;如果把这两类直接混在一起训练,模型学到的会是一个谁都不准的平均值。所谓「统一平台」,做的就是把它们拉到一个可比的尺度上——清洗、筛选、采样,三步里任何一步松一点,后面全部白做。

判断:视觉基座这条赛道上,真正的护城河不是模型结构,是这条数据处理流水线。模型结构会被论文公开、被复现,架构上的领先通常只有三到六个月;但一条能稳定产出「尺度可比」数据集的流水线,是几百人月堆出来的工程资产,抄不走。这也是为什么官方稿把数据平台和模型架构并列写——它知道自己在卖什么。
四、一家智驾公司为什么要做视觉基座

地平线的主业是智能驾驶,官方稿自己的表述是「每三台智能汽车就有一台搭载地平线智驾」。

一家做智驾芯片与方案的公司,发布一个机器人视觉基座,表面上是「跨界」,实际上是把本业最硬的那块能力单独拎出来卖。

智驾最核心的问题从来不是「这是什么车」,而是「我在哪条车道、离前车多远、路面是什么坡度」。这些问题全部是几何问题。语义识别在智驾里当然也重要,但它建立在几何之上——先知道物体在哪,才谈得上它是什么、要不要躲。

机器人面临的是同一套问题,只是更严苛:车在结构化道路上跑,路面基本平整、光照相对可控;机器人在室内、在工地、在乐园里跑,地面可能油污、光照可能逆光、面前随时有人穿来穿去。

判断:视觉基座这条线,行业实际上分成两派——一派做语义(VLM、VLA,回答「这是什么、该做什么」),一派做几何(重建、位姿、深度,回答「在哪、多远、朝哪」)。地平线选几何,不是因为它不看好语义,是因为它十几年的积累全在几何这一侧。这个选择很务实,但也划定了天花板:几何做好了,机器人只是「看得准」,离「会干活」还差一整套决策与执行。
五、给做交付的人三条

第一,别把「几何基座」当成「能力提升」。位姿和深度是前置条件,不是能力本身。给一个 VLA 配上更准的几何,它不会突然学会拧螺丝,只是失败的方式会变——从「抓空」变成「抓偏一点」。前者一眼看得出,后者要测很久才发现。

第二,这类模型真正的价值在「换场地」。固定工位上,标定一次能用很久,几何模型的边际收益接近零。真正吃力的是那种「今天在这个展厅、明天在另一个乐园」的活——每换一个场地就要重新标定、重新建图、重新对齐坐标系。一个能直接从视频里恢复场景几何的模型,省掉的正是这一段。

第三,等实测,别等通稿。官方给了项目主页,这是唯一值得跟的入口。三套评测都是公开基准,任何人可以复现;真要看它行不行,应该看它在自己手上的真实素材上跑成什么样,而不是看它在 SpatialBench 上排第几。

最后说一句这篇稿子最诚实的地方:它没有承诺机器人会因此变聪明。它只说,给机器人一个几何基础。

这个措辞很克制,也很准确。2026 年的具身智能,缺的往往不是「更聪明的脑子」,是「更可靠的眼睛」。一个能把 297 万条视频压成空间感的模型,解决的是后者。前者还得另找答案。