「32 个 Token 换 88.9%:多机协作的瓶颈不是聪明,是『该跟队友说什么』」
「隔墙协作 0% 到 100%」是标题,但 0% 是个构造出来的对照组。真正该看的是另一条曲线:传 160 个 Token 换 72.2%,传 32 个换 88.9%。信息越少越准,这件事本身才是新闻。
- 事件:星尘智能(Astribot)2026-11-13 发布多机协同框架 CoMind(Be My Eye),自称业界首个「主动共享、精选任务上下文」的多机协同模型框架;配套论文《Be My Eye: Learning to See Beyond a Robot's Own Perspective》已投 arXiv。
- 三个数:隔墙交替取笔,成功率 0% → 100%;遮眼置物,准确率 38.9% → 88.9%;每步传给队友的信息量从 160 个视觉 Token 降到 32 个(降 80%)。
- 对照组才是重点:官方对比图里还有第三根柱子——「整份画面转发」的方案,无视野置物成功率 72.2%。也就是说 CoMind 相对「把看到的全传过去」,只多 16.7 个百分点,但传输量只有它的 1/5。
- 机制:两阶段——先按任务指令从多路相机里挑出与当前操作直接相关的内容并压缩,再双向主动共享;训练时用动作级反向传播,让接收方「做错了」这个信号反过来优化发送方的编码器,逼它学会传什么。
- 测试规模:两台 Astribot S1,隔墙取笔覆盖不同颜色组合与先后顺序共 48 组;六项真机任务含纸箱组装、叠被收纳、冰箱补货、哑铃组装、盲盒置物、隔墙跟随。
- 判断:CoMind 真正的主张不是「省带宽」,是「把『该共享什么』变成可训练参数」。带宽在局域网里从来不是瓶颈,接收方被无关信息淹没才是。
先把这个发布拆成两层:一层是对外说的,一层是对内做的。
对外说的是三个数——隔墙取笔 0% 到 100%,遮眼置物 38.9% 到 88.9%,信息传输量降 80%。这三个数很好记,也很好传播。
对内做的是另一件事:把「该跟队友共享什么」从一个手工设计的接口,变成一个能被训练的参数。这件事不好讲,但它是这套框架唯一真正新的地方。
「成功率从 0% 提升到 100%」,听起来像从无到有。但它确实是「从无到有」——因为 0% 那一组,是故意不给任何信息通道。
实验设计是两台 Astribot S1 分立在遮挡板两侧,各自面前摆红、蓝、黑三支笔。第一阶段 A 按指令拿起指定颜色的笔,B 必须隔墙猜出 A 拿了什么颜色、判断 A 是否握稳、何时启动跟随抓取;第二阶段角色互换。关键控制在于:每台机器人收到的语言指令里,只包含自己当领队时的目标颜色,当跟班时没有任何额外提示。
在这个设定下,不共享信息 = 纯靠猜,猜中的概率本来就该接近零。所以 0% 不是「现在的方案很差」,是「物理上不可能」。
真正有信息量的对照,藏在官方那张对比图里。同一组任务,三种信息交互方式:
看第二根和第三根:传输量降到 1/5,成功率反而涨了 16.7 个百分点。这才是这篇发布真正的反直觉之处。
如果只是省带宽,那第三根柱子应该和第二根差不多高——省成本不涨效果,属于常规工程优化。但它涨了,说明「传得多」这件事本身在拖后腿:接收方的 VLA 模型拿到一整张队友视角的画面,得自己在里面找哪部分是当前动作要用的,找错的概率就变成了失败率。
判断:多机协作的第一瓶颈不是通信带宽,是接收方的注意力。这个结论对做多机方案的人很实用——在真机上,你几乎永远不缺带宽(局域网、5G 都能过),你缺的是让队友别被无关信息污染。
CoMind 的结构分两阶段。第一段按任务指令,从多路相机画面里挑出与当前操作直接相关的内容,压缩成一小段表征;第二段双向主动共享,双方各自把收到的内容与本地画面、任务指令、本体状态一起喂进自己的 VLA,直接生成连续动作。没有中央调度器。
这些是「怎么做」的部分,市面上同类方案大体也在这条线上。
真正不一样的是训练时的那个反向通路,官方叫动作级反向传播。
通俗讲:假设 A 是看不见目标的那台,B 是能看见的那台。B 传给 A 一段信息,A 按这段信息去抓,抓偏了。传统做法里,这个「抓偏」只会被用来惩罚 A 的策略——A 学得更谨慎。CoMind 多做了一件事:把这个偏差信号反向传回 B 的编码器,告诉 B「你刚传的那点信息不够让 A 做对」。
结果就是 B 学会了一件事:优先传最能帮 A 做对动作的特征,而不是最完整或最显眼的特征。
判断:这一步把「通信协议」从人工设计变成了学习产物。过去多机系统里传什么是工程师定的——传位姿、传目标坐标、传图像、传文本状态,都是在人的先验里选。CoMind 让「传什么」由最终动作成败来定,等价于说:这套系统能自己长出协议,不需要人先想清楚哪种信息有用。
这个思路在智能体领域已经验证过一轮(工具调用、上下文压缩、记忆检索都在做同类的事),但在机器人多机协同上,公开的完整实现这大概是第一个。
官方给的六项真机任务,难度不是同一档,值得分开看。
| 任务 | 核心难点 | CoMind 补的是哪一块 |
|---|---|---|
| 纸箱组装 | 高频物理接触,箱体翻转时视线被自己挡住 | 在完全遮挡下「借眼」,维持连续动作不中断 |
| 叠被收纳 | 柔性物体持续形变,边缘位置每秒都在变 | 在动态张力中对齐动作意图,不靠分步指令 |
| 冰箱补货 | 关键信息分散在两人视野(一个看到缺货、一个看到货在哪) | 跨视角拼全局,省掉重复折返 |
| 哑铃组装 | 穿片方看不清杆与孔的动态相对位置 | 毫秒级补全队友视角的空间关系 |
| 盲盒置物 | 目标位置随机变化,一方完全无视野 | 共享关键视觉特征,把盲猜变成命中 |
| 隔墙跟随取笔 | 双向角色交替,跟班方无目标提示 | 共享目标颜色与动作时机 |
这六项里,前两项(纸箱、叠被)和中间两项(补货、哑铃)性质不同。前两项考的是「同步」——两台机器人在同一件物体上用力,节奏错一拍就散架;后两项考的是「补盲」——两台各看一半,合起来才有全局。
CoMind 的机制更贴「补盲」这一类。它的信息筛选是围绕任务相关性做的,本质是把「我看到的、且你需要的」传过去;而「同步」要的是时机对齐,节奏感比内容更重要。所以纸箱组装和叠被这两个案例,官方描述里强调的是「连续、无停顿」,不是成功率——说明这两项大概率没做成统计意义上的成功率对比,只能定性展示。
判断:这套框架目前的能力边界,是「视野互补型协作」,不是「力耦合型协作」。这个区分对落地很关键:仓储里的接力搬运、多机巡检、跨工位补位,都属于前者,CoMind 的方向是对的;而双人抬重物、装配对拧这类强力耦合任务,考验的是力控与时间同步,不是信息共享。
做商演和文旅的人看到「多机协同」,第一反应往往是:这东西能不能用到群控上。
诚实的答案是:方向对,但解决的不是同一个问题。
舞台上多台机器人同步跳舞,本质是「同一个时间轴上的确定性回放」——每台机器人跑同一份轨迹,靠时间码对齐,不需要彼此知道对方看到什么。这套东西用现有的群控协议就能做,而且比任何 VLA 都稳,因为它不依赖任何实时推理。
CoMind 解决的是另一种情况:任务需要两台机器人各自看到不同的一半,而这一半无法事先写死。舞台上的情况是可以写死的——走位、节拍、灯光全在脚本里;仓储里的情况写不死——货放哪、谁先到、哪台被挡住,每单都不一样。
判断:所以群控和 CoMind 不是替代关系,是两种确定性等级。表演要的是「一千次都一样」,协作要的是「每次都能凑合对」。把后者的技术拿去做前者,是浪费;把前者的思路拿去做后者,会崩。
但有一条经验是可以直接搬的:少传信息。我们做多机现场时,操作台常常同时收多路图传,一个人盯六路画面,实际能看清的只有一两路。这和 CoMind 说的「接收方被无关信息淹没」是同一个病,只是人是那个接收方。把六路砍成两路关键视角,操作员的反应速度会明显变快——这个改动的成本几乎是零,效果立竿见影。
第一,异构怎么办。测试用两台同构 S1,视野互补、动作空间相同、编码器对称。真实场景里更常见的是「一个人形 + 一个移动底盘 + 一台固定臂」,动作空间完全不同,编码器没法对称,动作级反向传播还成不成立,没有数据。
第二,三台以上怎么办。两台的通信是点对点,三台就是三对,五台是十对,信息量按平方涨。CoMind 现在省的是「每条链路上的量」,没解决「链路数量的爆炸」。这在仓储里是硬约束——一个仓不会只有两台机器人。
第三,失败了谁负责。多机协作一旦出错,是发送方传错了,还是接收方理解错了,还是任务本身不可行?动作级反向传播在训练时能归因,在运行时能不能归因,决定了这套系统能不能进需要责任划分的产线。