研究解读 · 神机百见-具身解读

93.3% 的通过率里,73.3% 才是真问题:世界模型第一次有了会开口的主体

30 组真实交互、180 项检查、通过 168 项,总通过率 93.3%。但拆开看,三个 100% 全是「像不像」的指标,唯一衡量「有没有接住」的内容响应度只有 73.3%。这个模型把「像」做到了满分,把「懂」留在了四分之三。

一分钟速览
  1. 事实:2026 年 11 月 17 日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model)Duo v1,把智能主体放进世界模型内部,让虚拟角色持续接收用户音视频输入、自主决定何时开口或倾听,并实时生成对应的声音与画面。
  2. 机制:模型分 Intent(意图) 与 Realization(实现) 两个耦合模块,以约 0.7 秒为一个时间块;Intent 在每个块内决策「说话还是等待」并产出语言内容,且传递隐状态而非解码文本,直接指导 Realization 生成视听。
  3. 训练:三阶段(Intent 训练 → Realization 训练 → 分布匹配蒸馏至 4 步),第三阶段用 Dual Rollout 解决「训练用录制历史、推理用自生成历史」的分布偏移。
  4. 评测:30 组真实交互、共 180 项检查,通过 168 项,总通过率 93.3%。分项为语言遵循性 100%、语音可懂度 100%、视觉身份稳定性 100%、视听情感一致性 96.7%、视听同步 90.0%、内容响应度 73.3%。
  5. 判断:三个 100% 全是「像不像」的形式指标,唯一衡量「有没有接住对方」的是那个 73.3%。这个模型把「像人」做到了满分,把「懂人」留在了四分之三;而这个缺口,恰好也是机器人从「能对话」走到「能协作」必须跨过的那道坎。
数据来源与边界
主源为智东西 2026-11-18 报道,记者杨京丽,经新浪 2026-11-19 09:59 全文转载(news.sina.cn ↗ ),该稿给出发布方与发布日期、双模块结构、0.7 秒时间块、三阶段训练与 Dual Rollout 的机制说明、60 秒 10 段亮度退化测试的原始数值、30 组人类评估的 180 项与六项分项通过率、开源范围(技术报告 arXiv 2611.15131、代码 github.com/inclusionAI/Duo、权重 ModelScope 与 Hugging Face 两个仓库)。素材时间窗为前一日 18:00 → 当日 09:00(2026-11-18 18:00 → 2026-11-19 09:00);本篇属扩窗处理——事件发生在 11-17(窗口前约一天),窗口内的新增量是:11-18 报道首次公开 180 项检查的六项分项通过率与 0.7 秒时间块机制,这两项在 11-17 当日的公开信息中均未出现,故按扩窗规则第一条采信并在本段写明。 与站内既有稿件的差异:本站 11 月 14 日稿(758)讨论的是人形机器人信息安全标准与演出合同,11 月 18 日晚间批稿件涉及蚂蚁灵波的数据与开发者生态,均与本篇无重叠;本篇只做「分项通过率的内部落差」这一个切口,不复述世界模型的行业格局。 边界与不确定:①所有性能数字均出自发布方自测,30 组真实交互的样本量偏小,180 项检查的评分标准未公开,93.3% 不能等同于通用能力;②「内容响应度 73.3%」的具体判定规则未披露,本文只按字面理解为「模型对用户输入的语义回应是否恰当」,不外推;③该模型处理的是音视频交互的虚拟主体,不是物理机器人,本文在正文中明确区分了这一层,任何向具身智能的类比均标注为作者判断;④「亮度值 103.8 降至 69.6、下降 34.2」为发布方给出的退化测试结果,测试集与评估协议未公开;⑤技术报告编号 2611.15131 与两个模型仓库地址来自报道原文,本文未逐项核验仓库内容;⑥所有关于形式指标与语义指标之分、0.7 秒节律之取舍、与机器人策略模块的类比,均为作者判断,以「判断:」开头。版权与免责声明由模板自动附加。
本文事实信息来自上方标注的公开来源;解读、判断与延伸部分为作者个人见解,写作过程使用了 AI 工具辅助整理,已由作者人工核实,不代表信息来源方立场。如有雷同纯属巧合;如涉及版权或权益问题,请联系 shenjibailian@shenjibailian.com,我们将在核实后及时删除或更正。

先看一个总数:30 组真实交互、180 项检查、通过 168 项、93.3%。

这个数字放在任何一份技术报告里都算漂亮。但 93.3% 是个平均数,平均数会藏东西。真正该看的是它下面那六行。

一、六项分项里,三个满分全是「像不像」

把六项分项摆出来,结构立刻就清楚了。

语言遵循性
100%
语音可懂度
100%
视觉身份稳定性
100%
视听情感一致性
96.7%
视听同步
90.0%
内容响应度
73.3%
30 组真实交互、180 项检查中的六项分项通过率,总通过率 93.3%(168/180)。柱长按通过率百分比绘制,同一刻度可直接比较

前五项衡量的是同一件事:这个虚拟人看起来、听起来像不像一个真人。嘴巴动得对不对、声音清不清楚、脸有没有变形、表情和语气配不配、声音和口型合不合得上。

这五项里有三项是满分——语言遵循、语音可懂、身份稳定。换句话说,在「不出戏」这件事上,它已经基本做到不出错。

而唯一一项衡量「有没有听懂你在说什么」的,是最后那行:内容响应度 73.3%。

报道引用团队的说法是,这也是最具挑战的指标——模型需要在用户音视频仍在持续输入时作出决策,对用户意图进行实时推断。

判断:这六行分项,其实是两种能力的对比。前五项是「生成质量」,只要模型够大、数据够多、蒸馏够好,就能往上推,推到 100% 只是时间问题。第六项是「理解与决策」,它衡量的是模型有没有在正确的时间做正确的事——这东西不是靠堆算力能解决的。93.3% 这个总分会让人以为差距只剩 6.7%,但拆开看,真实差距是 26.7%,而且全部集中在最难的那一项上。
二、0.7 秒这个数,是整篇报告里最被低估的

Duo v1 把时间切成约 0.7 秒一个块。在每个块内,Intent 模块要做一个二选一的决策:现在开口说话,还是继续听。

0.7 秒意味着什么?一分钟 60 秒,除以 0.7,大约 85 个决策点。

也就是说,这个模型每分钟只有 85 次机会决定「该我说话了」。中间任何一个块判断错了,结果就是两种可预期的失败:对方还没说完它就抢话,或者对方说完了它还在等。

这恰好是这一轮对话式 AI 最典型的观感问题。人们抱怨机器「不像人」,很多时候不是因为它答得不对,是因为它答的时机不对——停顿太长显得迟缓,抢话太早显得没礼貌。而时机这件事,从来没有被写进任何一次模型评测里。

Duo v1 把这件事做成了显式的、可训练的决策。报道提到,因为多数时间块不含新的角色发言,模型天然倾向于「一直等待」,团队用动作感知重平衡(action-aware rebalancing)对不同类别的训练目标做采样和加权,来缓解「过度等待」的偏差。

判断:这个细节透露了训练里最难的一件事——「不说话」这个动作,在数据里几乎不占样本。一段对话里,角色开口的时间块可能只占两成,剩下八成都在听。如果按频率采样,模型学会的一定是「永远别开口」。所以必须人为把「开口」的权重调高。这个坑对机器人同样成立:一台机器人在真实场景里,绝大多数时间什么都不用做,只在关键时刻动一下。按数据频率训练,得到的就是一台不动的机器人。
三、103.8 降到 69.6,这个数比 93.3% 更有工程价值

报道里还有一组数,关注的人不多,但它是整篇里最实在的。

团队做了一个 60 秒、10 个区段的连续生成测试,用亮度值衡量画面退化。基线方法的亮度从 103.8 一路掉到 69.6,下降 34.2;Duo v1 采用「固定使用首个区段的开头视频作为质量参考」的做法后,亮度保持在约 99,面部外观的一致性也维持住了。

这组数的价值在于,它量化了「误差累积」这件事。

凡是逐段生成的内容,都会遇到同一个问题:每一段都以前一段的最后一帧为参考,那么第一段的细微偏差会被第二段继承、被第三段放大。跑十段之后,画面已经不是「差一点」,而是彻底走样。

Duo v1 的解法非常朴素——不参考前一段的结尾,始终参考第 0 段的开头。用一个固定的锚点替代一条会漂移的链条。这个思路和视频生成里的首帧一致性约束是同一类做法,工程上不新鲜,但它在这份报告里被量化了:不用这个锚点,60 秒后画面暗掉三分之一。

判断:对做具身的人来说,这组数的意义在于它给出了一个可复用的检验方法。机器人的长程任务——比如连续 20 步的装配——遇到的完全是同一个问题:每一步都基于上一步的结果,误差逐步累积。评估时应该看的不是单步成功率,是「跑满 20 步之后还剩多少」。这个测试方法比任何一个模型的榜单排名都更值得抄。
四、这件事和机器人有什么关系,以及没什么关系

必须先说清楚:Duo v1 处理的是音视频交互的虚拟主体,不是物理机器人。它的输出是画面和声音,不是关节角度。把它当成「机器人大脑」来读,是错的。

但它的架构里有一处,和机器人策略的走向高度同构。

Intent 模块传递给 Realization 的,不是解码后的文本,而是模型内部的隐状态。这个设计的意思是:决策和表达之间不走「先转成一句话、再照着这句话生成」的中间层,而是直接传一个高维向量。

机器人领域的 VLA 模型正在做的,恰恰是同一件事——把「下一步做什么」从自然语言指令,变成直接驱动动作生成的隐表示。中间那层语言,正在被跳过。

跳过语言的好处是不丢失信息:一句「把那个拿过来」丢掉了力度、速度、抓取点位、避让路径;一个隐状态可以全带上。坏处是可解释性归零——你没法再问它「你刚才为什么这么做」,因为它根本没生成过一句可以读的话。

判断:这条路的终点,是「意图—动作」直连。虚拟人这边代价很低,生成错了顶多画面怪;机器人这边代价是物理的,动作错了会撞、会摔、会伤人。所以同样的架构搬到机器人上,一定会多出一层东西——安全检查。而安全检查必须是可读的、离散的、能被外部程序判断的,这又和「隐状态直连」的设计初衷冲突。这个矛盾,是下一代 VLA 架构绕不开的地方。
五、开源这件事,比 93.3% 更值得记

技术报告、训练代码、模型权重全部开放,权重同时上了 ModelScope 与 Hugging Face 两个仓库。

对世界模型这个赛道来说,这是相当彻底的开放。多数同类工作只放 demo 视频和论文,权重是要谈合作的。

彻底开放的直接后果是:93.3% 这个数,两周内就会有人复现,也会有人拿自己的场景去测。如果第三方测出来的「内容响应度」显著低于 73.3%,那这份报告的可信度会被重新定价;如果接近,那这个方向就真的站住了。

这也是判断一份技术报告诚不诚实的另一个角度——看它敢不敢把最弱的那一项写进摘要。这篇把 73.3% 写进去了,还主动说明「内容响应度和长程一致性仍是当前版本的主要挑战」。

世界模型这一年的叙事,一直是「把世界模拟得更真」。Duo v1 换了个问法:世界模拟得再真,如果里面没有人,那它模拟的是一个空房间。

把主体放进去,是这一步。让主体真的接得住对方,是下一步。73.3% 就是这两步之间的距离。