93.3% 的通过率里,73.3% 才是真问题:世界模型第一次有了会开口的主体
30 组真实交互、180 项检查、通过 168 项,总通过率 93.3%。但拆开看,三个 100% 全是「像不像」的指标,唯一衡量「有没有接住」的内容响应度只有 73.3%。这个模型把「像」做到了满分,把「懂」留在了四分之三。
- 事实:2026 年 11 月 17 日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model)Duo v1,把智能主体放进世界模型内部,让虚拟角色持续接收用户音视频输入、自主决定何时开口或倾听,并实时生成对应的声音与画面。
- 机制:模型分 Intent(意图) 与 Realization(实现) 两个耦合模块,以约 0.7 秒为一个时间块;Intent 在每个块内决策「说话还是等待」并产出语言内容,且传递隐状态而非解码文本,直接指导 Realization 生成视听。
- 训练:三阶段(Intent 训练 → Realization 训练 → 分布匹配蒸馏至 4 步),第三阶段用 Dual Rollout 解决「训练用录制历史、推理用自生成历史」的分布偏移。
- 评测:30 组真实交互、共 180 项检查,通过 168 项,总通过率 93.3%。分项为语言遵循性 100%、语音可懂度 100%、视觉身份稳定性 100%、视听情感一致性 96.7%、视听同步 90.0%、内容响应度 73.3%。
- 判断:三个 100% 全是「像不像」的形式指标,唯一衡量「有没有接住对方」的是那个 73.3%。这个模型把「像人」做到了满分,把「懂人」留在了四分之三;而这个缺口,恰好也是机器人从「能对话」走到「能协作」必须跨过的那道坎。
先看一个总数:30 组真实交互、180 项检查、通过 168 项、93.3%。
这个数字放在任何一份技术报告里都算漂亮。但 93.3% 是个平均数,平均数会藏东西。真正该看的是它下面那六行。
把六项分项摆出来,结构立刻就清楚了。
前五项衡量的是同一件事:这个虚拟人看起来、听起来像不像一个真人。嘴巴动得对不对、声音清不清楚、脸有没有变形、表情和语气配不配、声音和口型合不合得上。
这五项里有三项是满分——语言遵循、语音可懂、身份稳定。换句话说,在「不出戏」这件事上,它已经基本做到不出错。
而唯一一项衡量「有没有听懂你在说什么」的,是最后那行:内容响应度 73.3%。
报道引用团队的说法是,这也是最具挑战的指标——模型需要在用户音视频仍在持续输入时作出决策,对用户意图进行实时推断。
Duo v1 把时间切成约 0.7 秒一个块。在每个块内,Intent 模块要做一个二选一的决策:现在开口说话,还是继续听。
0.7 秒意味着什么?一分钟 60 秒,除以 0.7,大约 85 个决策点。
也就是说,这个模型每分钟只有 85 次机会决定「该我说话了」。中间任何一个块判断错了,结果就是两种可预期的失败:对方还没说完它就抢话,或者对方说完了它还在等。
这恰好是这一轮对话式 AI 最典型的观感问题。人们抱怨机器「不像人」,很多时候不是因为它答得不对,是因为它答的时机不对——停顿太长显得迟缓,抢话太早显得没礼貌。而时机这件事,从来没有被写进任何一次模型评测里。
Duo v1 把这件事做成了显式的、可训练的决策。报道提到,因为多数时间块不含新的角色发言,模型天然倾向于「一直等待」,团队用动作感知重平衡(action-aware rebalancing)对不同类别的训练目标做采样和加权,来缓解「过度等待」的偏差。
报道里还有一组数,关注的人不多,但它是整篇里最实在的。
团队做了一个 60 秒、10 个区段的连续生成测试,用亮度值衡量画面退化。基线方法的亮度从 103.8 一路掉到 69.6,下降 34.2;Duo v1 采用「固定使用首个区段的开头视频作为质量参考」的做法后,亮度保持在约 99,面部外观的一致性也维持住了。
这组数的价值在于,它量化了「误差累积」这件事。
凡是逐段生成的内容,都会遇到同一个问题:每一段都以前一段的最后一帧为参考,那么第一段的细微偏差会被第二段继承、被第三段放大。跑十段之后,画面已经不是「差一点」,而是彻底走样。
Duo v1 的解法非常朴素——不参考前一段的结尾,始终参考第 0 段的开头。用一个固定的锚点替代一条会漂移的链条。这个思路和视频生成里的首帧一致性约束是同一类做法,工程上不新鲜,但它在这份报告里被量化了:不用这个锚点,60 秒后画面暗掉三分之一。
必须先说清楚:Duo v1 处理的是音视频交互的虚拟主体,不是物理机器人。它的输出是画面和声音,不是关节角度。把它当成「机器人大脑」来读,是错的。
但它的架构里有一处,和机器人策略的走向高度同构。
Intent 模块传递给 Realization 的,不是解码后的文本,而是模型内部的隐状态。这个设计的意思是:决策和表达之间不走「先转成一句话、再照着这句话生成」的中间层,而是直接传一个高维向量。
机器人领域的 VLA 模型正在做的,恰恰是同一件事——把「下一步做什么」从自然语言指令,变成直接驱动动作生成的隐表示。中间那层语言,正在被跳过。
跳过语言的好处是不丢失信息:一句「把那个拿过来」丢掉了力度、速度、抓取点位、避让路径;一个隐状态可以全带上。坏处是可解释性归零——你没法再问它「你刚才为什么这么做」,因为它根本没生成过一句可以读的话。
技术报告、训练代码、模型权重全部开放,权重同时上了 ModelScope 与 Hugging Face 两个仓库。
对世界模型这个赛道来说,这是相当彻底的开放。多数同类工作只放 demo 视频和论文,权重是要谈合作的。
彻底开放的直接后果是:93.3% 这个数,两周内就会有人复现,也会有人拿自己的场景去测。如果第三方测出来的「内容响应度」显著低于 73.3%,那这份报告的可信度会被重新定价;如果接近,那这个方向就真的站住了。
这也是判断一份技术报告诚不诚实的另一个角度——看它敢不敢把最弱的那一项写进摘要。这篇把 73.3% 写进去了,还主动说明「内容响应度和长程一致性仍是当前版本的主要挑战」。
世界模型这一年的叙事,一直是「把世界模拟得更真」。Duo v1 换了个问法:世界模拟得再真,如果里面没有人,那它模拟的是一个空房间。
把主体放进去,是这一步。让主体真的接得住对方,是下一步。73.3% 就是这两步之间的距离。