Apache 2.0 的 29B 世界模型，跑起来要 107.4 GiB 显存：PAN 2 在你自己机器上能干什么
权重、训练代码、推理代码全给，Apache 2.0，看着像具身世界的免费午餐。但每个 worker 要装完整 29B、峰值 107.4 GiB；更要紧的是，拿掉外挂的大语言模型，多步计划完成率会从 34.0% 掉到 0.0%。
- 给了什么：MBZUAI 旗下 IFM 于 2026-11-10 发布 PAN 2，29B 参数 MMDiT，权重、训练代码、推理代码全部以 Apache 2.0 开放。
- 什么规格：输出 704×1248、24 fps、最长 20 秒（481 帧），默认 241 帧约 10 秒；采样 50 步、flow shift 9、CFG 2.5，提示词上限 1536 tokens。
- 多大机器：每个 worker 加载完整 29B（BF16），峰值显存 107.4 GiB，超出单张 80GB 卡；官方提供 block offload 兜底，代价是速度。
- 最关键的一条：它是两段式——先由大语言模型写结构化 JSON（事件、定时动作、运镜），再由 29B 模型渲染视频。消融实验显示，去掉前一段，多步计划完成率从 34.0% 掉到 0.0%，单步完成率从 75.1% 掉到 8.7%。
- 判断：这个「开源」开的是渲染器，不是大脑。想真用起来，你得先自备一个够强的 LLM 做概念层——而那一层不在 Apache 2.0 的包里。
先说结论：这是一个真开源的世界模型，但它开源的部位，比名字暗示的要小一圈。
PAN 2 是阿联酋穆罕默德·本·扎耶德人工智能大学（MBZUAI）旗下基础模型研究所的作品，2026 年 11 月 10 日发布，取代一年前的初代 PAN。它 29B 参数，MMDiT 架构，Apache 2.0——这个许可证在具身世界里并不常见，多数同类模型只开放 API 或者权重，训练代码藏着。
所以第一反应是「终于有人把整条链给出来了」。
往下看两屏，反应会变。
| 项目 | 状态 | 对使用者的实际影响 |
|---|---|---|
| 模型权重（29B） | 开放，Apache 2.0 | 可自托管、可商用、可改 |
| 训练代码 | 开放 | 能看清洗与采样流程，能改配方 |
| 推理代码 | 开放 | 支持 Diffusers / vLLM / FastVideo |
| 后训练代码与数据 | 未开放 | 无法复现微调路径，只能从预训练权重往下走 |
| 概念推理所用的 LLM | 不在包内 | 需自备，且效果强依赖所选模型 |
第三行和第五行，是这份「开源」里最容易被忽略的两处留白。
后训练代码不给，意味着你能跑它，但很难把它调成「懂你的场景」的样子。概念推理的 LLM 不给，意味着这套系统的上限，一半取决于你外挂哪个模型。
这两件事加起来，会显著改变「自己部署一套世界模型」的难度评估。
官方给出的部署条件是：每个 worker 加载完整的 29B 模型，BF16 精度；峰值显存 107.4 GiB；提供 block offload 作为兜底。
29B 参数在 BF16 下光权重就约 58 GB。峰值跑到 107.4 GiB，说明中间激活、视频潜变量、多帧解码的缓存又吃掉近 50 GB。
单张 80GB 的卡装不下。
| 硬件档 | 能不能跑 | 怎么跑 |
|---|---|---|
| 单张 24GB（4090 / 5090 级） | 基本不能 | 需 block offload 到内存，速度会掉到不可用 |
| 单张 80GB | 不够 | 峰值 107.4 GiB 超上限，必须溢出或分片 |
| 2 张 80GB | 可以 | 符合峰值，最省心的组合 |
| 多卡集群 | 可以 | 官方描述为「数据中心 GPU」，每 worker 全量加载 |
这里有个容易踩的坑：很多团队看到「Apache 2.0 + 29B」，第一反应是「租两张卡试试」。
可以试，但先想清楚要试什么。因为它一次只生成最长 20 秒、704×1248、24 fps 的视频，默认 241 帧约 10 秒。你要用它验证的，是「这个动作会发生什么」，不是「这条产线能不能跑」。
判断：这个显存门槛把用户分成了两类——有卡的研究团队，和没卡的集成商。前者可以自托管、做消融、改配方；后者更现实的选择是等 API 或等别人封装。这不丢人，只是要提前算清楚，别把「开源」当成「免费」。
PAN 2 的工作方式，是把「推演」拆成两步。
第一段用的是通用大模型，官方默认配的是 Kimi K3，并明确说「任何指令遵循型 LLM 都能填这个位置」。
这就是关键：概念层是外挂的，不是模型自带的。
IFM 自己做了消融，结果很直接：
没有概念推理，多步任务一个都完不成。
这意味着：如果你只把 PAN 2 的权重拿下来跑，不接 LLM，你得到的是一个「照着提示词生成物理视频」的模型——画面可能很真，但它不会替你规划。
而「规划」恰恰是机器人最需要它的地方。世界里推演的价值，不在于把下一帧画得像，而在于「这条路径会不会撞、这个抓法会不会掉」。
判断：PAN 2 真正交付的是一个高质量的「物理一致性渲染器」，规划能力靠外挂。这不影响它的价值，但影响定价与选型：如果你已经有强的 LLM 和一套任务分解逻辑，PAN 2 是很划算的一环；如果你指望它开箱就给出「该怎么做」，会失望。
100 项多步任务，完整计划完成率 34.0%，官方称这是受测模型里的第一。
换个说法：三分之二的计划，至少漏了一步。
这个数不高，但它测的东西很难——多步计划要求模型把一串动作按顺序推演完，中间任何一步的物理状态错了，后面全错。视频生成的误差是累积的，20 秒足够把一个小偏差放大成大穿帮。
同一份材料里还有两组分数值得并排放：Physics-IQ Verified 上，PAN 2 在榜单设置下拿到 49.38，是所有开源模型里的最高分；但在系统默认设置下是 37.48，低于 MiniMax-H3 的 42.91。
两个口径差 11.9 分，说明什么？
判断：说明「同一个模型」在不同评测设置下可以是两个不同的选手。榜单设置往往经过调优，系统默认才是你拿到手直接跑的样子。选型时该看后者，宣传时该看前者——这也是为什么很多模型卡的分数你复现不出来。
本号在 726 篇拆 GR00T 2 时说过同一件事：95% 是筛出来的，40% 才是真的。世界模型这一栏同理，34.0% 是「受测模型里最好」，不是「能用」。
第一，先测概念层，别急着测渲染。拿你自己的任务，用不同 LLM 生成结构化 JSON，比较它们对「动作顺序」和「物理前提」的表述质量。这一步不需要 29B 的卡，一张消费级卡加 API 就能做，但它决定了后面 90% 的效果上限。
第二，把时长压到 5 秒以内做验证。默认 241 帧约 10 秒，最长 20 秒。误差是累积的，先用短片段确认「单步物理是否可信」，再放长。别一上来就 20 秒满帧，那是拿显存换噪声。
第三，算清楚它在你的管线里替换掉什么。如果它替换的是「真机试错」，价值可以按每次试错的成本折算；如果它替换的是「Isaac 这类物理仿真」，那要小心——视频推演给的是「看起来会发生什么」，物理仿真给的是「力学上会发生什么」。前者适合做方案筛选，后者适合做参数标定，两者不能互相顶替。
最后提醒一句许可证的事。Apache 2.0 是宽松许可，可商用、可修改、需保留声明。这在世界模型这个赛道里确实是稀罕物，值得记一笔。但开源范围止于预训练权重与训练/推理代码，后训练的数据与脚本没有一起给——意味着你能用它，但不太容易把它变成「你的」。