世界模型如何表示世界：四条表征路线与机器人适应能力

前面我们用 MuJoCo 和 Isaac Sim 的对比，理清了仿真器的选择。但不管用哪个仿真器，世界模型都面临一个更根本的问题：到底用什么来表示"世界"？

这个问题听起来抽象，但它直接决定了世界模型能做什么、不能做什么。就像你选错了数据结构，后面的算法再精妙也救不回来。

我把当前世界模型的表征方式归纳为四条主要路线。需要说明的是，这四条路线并不是严格互斥的——它们分别对应表征的不同维度：隐空间压缩是表征空间的选择，视觉生成是输出空间的选择，显式几何建模是世界几何的表示方式，对象级结构化是信息的组织方式。更准确地说，这四条路线不是互相替代的模型类别，而是世界模型设计中的四种归纳偏置（inductive bias）——不同表征给模型加入了不同的先验假设。实际系统中，它们经常交叉组合。但理解每条路线的核心逻辑和局限，是做出正确设计选择的前提。

路线一：隐状态（Latent State）

代表：DreamerV3、TD-MPC2

核心思路：把观测（图像、传感器数据）压缩成一个固定维度的向量，在这个隐空间里建模动态、训练策略。

DreamerV3 的 RSSM 使用循环神经网络维护确定性状态（4096 维），并结合离散随机变量（32 个类别变量，每个 64 类）来表示不确定性，两者共同用于预测未来。TD-MPC2 更激进——512 维隐状态，不要求世界模型重建原始观测，而是在任务相关的隐空间中直接做模型预测控制。

这个路线解决什么问题？

样本效率和计算速度。隐状态是高度压缩的表征，一个 64×64×3 的图像被压缩成几千维的向量。在这个压缩空间里做想象训练，比直接在像素空间里预测快几个数量级。DreamerV3 相比像素级世界模型具有更低的计算需求，可以在有限算力下完成高效训练。TD-MPC2 在多个连续控制任务上也展示了较高的训练效率。

而且隐状态天然适合做控制。策略网络可以直接从隐状态输出动作，世界模型可以在隐空间里做 rollout，不需要生成完整的图像。对于实时控制场景（如机械臂操作），这种效率是必须的。

卡在哪里？

隐空间是个黑箱。它通常不提供显式可访问的 3D 结构——模型内部可能编码了深度、位置等空间线索，但这些信息难以被直接用于几何推理。它学到的是"做了这个动作后，隐向量会从 A 变成 B"，但 A 和 B 里面到底包含了什么空间信息，完全不透明。

这带来一个直接后果：长时间预测容易漂移。由于隐状态通常不显式约束几何一致性，每预测一步就可能引入微小误差，误差累积后，想象轨迹逐渐偏离真实动态。DreamerV3 通常采用较短的 imagination horizon（例如 15 步），这是在模型误差累积、价值估计偏差和计算成本之间的工程折中。

另一个问题是迁移。如果隐空间主要由单一任务数据学习得到，其状态语义往往缺少显式结构约束，跨场景迁移时可能需要重新适配。

路线二：像素/视频（Pixel/Video）

代表：NVIDIA Cosmos、1X World Model

核心思路：直接预测未来的图像或视频帧。给世界模型一段过去的视频 + 动作序列，它生成未来的视频。

Cosmos 定位为 Physical AI 的基础模型，用两条路线处理视觉信息：一条是自回归的离散视觉 token（类似 GPT 预测下一个 token），一条是扩散模型生成连续帧。它的目标不仅是预测视频，更是通过大规模视觉生成获得通用的物理先验。1X World Model 也采用类似思路，用视频生成模型预测未来画面，同时预测离散隐状态码。

这个路线解决什么问题？

视觉保真度和通用性。直接在像素空间建模，可以利用互联网上海量的视频数据做预训练。Cosmos 号称在数百万小时的视频上训练过——传统控制型隐状态模型通常难以直接利用这种规模的视频数据，而视频生成路线天然适合吸收互联网级视觉数据。

而且像素级预测天然适合做"验证"——你可以直接看到世界模型预测的未来画面，判断它是否合理。对于非技术利益相关者（如客户、管理者），看到一段预测视频比看到一个隐向量的变化直观得多。

卡在哪里？

慢。生成一帧图像需要完整的网络前向传播（扩散模型甚至需要多步迭代），根本做不了实时控制。机器人控制通常需要毫秒级反馈，而当前大规模视频生成模型的推理速度通常难以直接满足高频闭环控制需求。

另一个根本问题是：像素表示通常不显式编码三维结构。它预测的是"画面会变成什么样"，而不是"世界会变成什么样"。虽然视频模型内部可能隐式学到深度、运动等信息，但这些 3D 知识没有被显式表示出来，无法直接用于空间推理：物体到底在哪？距离多远？会不会碰撞？

还有一个隐患：幻觉。视频生成模型可能会"脑补"出不存在的细节。对于控制任务来说，这种幻觉可能是致命的——世界模型说"前面没有障碍"，但实际上有。因此机器人应用不仅需要生成能力，还需要可靠的不确定性估计——知道模型"不确定什么"，和知道模型"预测了什么"同样重要。

路线三：3D 显式结构（3D Explicit）

代表：World Labs Marble、GaussianDream、GWM

核心思路：用 3D 几何结构（点云、网格、3D Gaussian Splatting/3D 高斯泼溅）来表示世界。世界模型维护一个显式的 3D 场景表示，预测动作如何改变这个 3D 结构。

Marble 从图像/文本生成 3D 高斯泼溅场景，可以导出网格用于物理仿真。它更接近"世界生成"而非"动态预测"——解决的是"世界长什么样"，而不是"世界会怎么变"。需要注意的是，3D 场景表示本身还不是完整的世界模型。世界模型不仅需要知道世界是什么样，还需要预测世界如何响应动作。一些近期工作（如 GaussianDream、GWM 等）尝试将 3D 高斯与世界模型的动态预测结合，用 3D 结构作为监督信号来约束隐空间学习，但这些工作仍处于早期探索阶段。

这个路线解决什么问题？

空间理解。3D 表征天然携带深度、几何、空间关系信息。世界模型知道物体在哪（x, y, z）、有多大、朝向什么方向。这意味着它可以做碰撞检测、空间推理、轨迹规划——这些都是操作类任务的基本需求。

但需要注意的是，几何表示本身并不等于物理表示。一个 3D 场景知道物体在哪里，并不意味着知道物体的质量、摩擦系数、刚体约束或可供性（affordance）。从"看得见"到"操作得了"，中间还有相当的距离。

而且 3D 结构可以直接对接物理引擎。Marble 生成的场景可以导入 Isaac Sim 做物理仿真，不需要手动建模。这对于"快速搭建新任务环境"这个目标来说，价值巨大。

卡在哪里？

目前这个路线主要解决的是"世界长什么样"（静态重建），而不是"世界会怎么变"（动态预测）。Marble 可以从一张照片生成 3D 场景，但你问它"如果推这个杯子会怎样"，它答不上来。真正面向机器人的 3D 世界模型，需要从静态重建走向动态场景表示——同时建模几何、物理属性和交互规律。这是一个尚未解决的核心挑战。

3D 表征的计算开销也不小。3D 高斯泼溅的渲染和更新都比隐状态向量慢得多。对于需要高频控制的场景，这是一个实际的工程瓶颈。

另外，3D 表征需要 3D 监督信号（深度图、点云、相机位姿等）。这些数据在真实场景中不一定容易获取，增加了数据成本。

路线四：物体为中心（Object-Centric）

代表：FOCUS、NeurIPS 2025 多篇新工作

核心思路：把场景分解成独立的物体，每个物体拥有独立的状态表示，并通过共享或交互模型预测整体动态。世界模型不是预测"整个画面怎么变"，而是预测"每个物体怎么变"以及物体之间如何相互影响。

例如 FOCUS 等近期工作探索将场景表示为对象级隐状态，并结合空间表示建模对象动态。NeurIPS 2025 也有多篇工作用 Slot Attention 风格的机制自动发现场景中的物体，为对象级表示学习动态状态，或者学习对象之间的交互规律。不过这些工作大多还处于概念验证阶段，离实际应用还有距离。

这个路线解决什么问题？

组合泛化。理论上，如果你的世界模型见过"杯子"和"盘子"各自的动态，当场景里同时出现杯子和盘子时，它有可能直接组合已有的知识，而不需要重新学习。这种组合能力对于任务适应至关重要：客户的场景里可能有各种物体组合，你不可能为每种组合都训练一个模型。

物体级表征还天然支持注意力机制——只关注任务相关的物体，忽略背景。这对于样本效率也有帮助：不需要浪费算力去预测不变的背景。

卡在哪里？

物体发现本身就是个难题。怎么知道场景里有几个物体？怎么把物体从背景中分离出来？怎么在遮挡情况下持续追踪同一个物体？这些问题在学术界还没有很好的解决方案。

物体数量增加时，复杂度也快速上升。如果场景里有 20 个物体，每个物体一个独立模型，计算量和通信开销都不小。

还有一个根本问题：有些任务不是"物体级"的。比如液体操作（倒水）、柔性体操作（折衣服），这些任务的对象不是刚体，很难分解成独立的物体。

四条路线对比

注：此处的"组合泛化"指模型是否能复用已有的对象、关系和动力学规律，而非通过更大规模的训练数据获得泛化能力。像素路线的泛化主要来自数据规模，而非结构化组合。

趋势：混合表征

看完这张表，你会发现一个事实：没有一个路线是完美的。隐状态快但没有空间理解；像素有通用性但太慢；3D 有空间精度但不会动；物体中心有组合泛化但发现困难。

所以近期的趋势是混合——把不同路线的优势结合起来。

隐状态 + 3D 结构。GaussianDream 等工作做了初步探索：尝试在训练时引入 3D 解码作为辅助监督信号，推理时回归紧凑的隐状态。如果这条路线成熟，既可能获得 3D 结构的训练信号，又不牺牲推理速度。但目前还处于早期验证阶段。

隐状态 + 物体分解。FOCUS 等工作探索将场景分解为物体级隐状态，并结合空间表示建模对象动态。如果这条路线成熟，既保持了隐状态的高效，又可能获得组合泛化能力。

像素预训练 + 隐状态微调。先用大规模视频数据做像素级预训练（获得通用的物理直觉），然后在具体任务上用隐状态微调（获得高效控制能力）。这类似于 LLM 领域"预训练 + 微调"的范式。

这些混合方向，本质上都在回答同一个问题：怎么让隐空间不再"平坦"，而是携带有意义的结构信息——3D 的、物体的、物理的。

更进一步：分层表征的设想

混合表征自然引出一个更深层的问题：是不是只用一层表征就够了？

一个自然的工程启发是：人类和动物的感知系统通常表现出不同层次的信息处理——你看到"杯子"，首先识别出这是一个物体（语义层），知道它在桌子右边、离你 30 厘米（空间层），预期推它会滚动（动态层），同时你的视觉皮层在处理颜色和形状（感知层）。当然，这不是对生物机制的直接复制，而是一种工程上的结构化假设——通过分层来降低问题的复杂度。

世界模型可能也需要类似的分层架构。一个直观的设想是：

                 Task / Planning
                       ↑
          Object + Semantic Layer
        "有什么？目标是什么？"
                       ↑
          3D Geometry + Physics Layer
        "在哪里？如何交互？"
                       ↑
          Latent Dynamics Layer
        "未来状态如何变化？"
                       ↑
        Sensor / Pixel Interface
        "如何观察？如何生成？"

高层：物体与语义结构。负责物体发现、语义理解、任务目标分解。这一层回答"场景里有什么"“任务要做什么”。可以用物体级表征或符号化的场景图来实现。

中层：3D 空间关系。维护显式的三维几何——物体在哪、有多大、朝向如何、会不会碰撞。这一层为空间推理和轨迹规划提供基础。3D 高斯泼溅、神经辐射场等技术可能在这一层发挥作用。

低层：隐状态动态。在压缩空间里建模状态转移和策略。这一层负责高效的想象训练和实时控制。DreamerV3 的 RSSM、TD-MPC2 的隐空间模型，适合放在这一层。

感知与生成接口层：像素与视频。负责将传感器输入编码为内部表示，以及将内部表征渲染成可视图像，用于视觉监督、人机交互、或者对接现有的视觉语言模型。

这种分层架构目前还只是设想，学术界还没有完整的实现。但它提供了一个有意思的思路：四条表征路线可能不是"选哪个"的问题，而是"放在哪一层"的问题。每一层用最合适的表征，层与层之间通过信息传递协作。

如果这个方向成立，世界模型的设计就从"选择一种表征"变成了"设计层间信息流"——这可能是下一个阶段的核心挑战。

对任务适应的启示

回到我们的核心问题：让机器人快速适应新任务。表征的选择直接影响"适应速度"。

如果世界模型用的是纯隐状态（DreamerV3），换一个新场景意味着重新学一套隐变量含义。之前的经验很难迁移，因为隐空间没有结构化的语义。

如果世界模型用的是物体级表征，换场景时只需要替换或组合物体模型。见过"杯子"的动态，换到"杯子+盘子"的场景时，杯子的模型有可能被复用。但需要注意的是，物体级复用并不意味着完整复用——同样是杯子，空杯和装满水的杯子动力学完全不同，塑料杯和陶瓷杯的交互模式也不一样。机器人还需要学习物体的物理属性、交互模式和任务相关的可供性。

如果世界模型有 3D 结构，搭建新环境时可以直接用 3D 扫描或重建来初始化，不需要从零开始学场景几何。

所以，表征不只是技术选择，它直接影响任务适应的潜力。目标是把新任务适应周期从数天级降低到小时级，但这一目标仍需要表征、数据、训练方法和机器人系统共同突破。选对表征方向，是必要条件，但不是充分条件。真正决定机器人泛化能力的，不只是模型规模，而是模型内部是否形成了可复用的世界结构。

小结

世界模型的表征有四条路线：隐状态（快但缺乏显式结构）、像素/视频（通用但计算密集）、3D 显式结构（有空间精度但动态建模尚早期）、物体中心（有组合泛化潜力但物体发现仍困难）。没有一条路线能单独解决所有问题。

当前的趋势是混合与分层——在隐状态中注入 3D 结构或物体级分解，甚至构建分层的表征架构，让不同路线在不同层次上各司其职。这个方向还处于早期，但可能是世界模型走向真正通用性的关键。

理解这些表征路线的差异与互补关系，是理解世界模型技术演进的基础。后续文章会在这个框架下，逐一深入每种路线的具体实现与改进方向。

对机器人而言，Scaling Law 的下一步可能不是简单扩大参数量，而是让模型内部形成更加结构化、可组合、可迁移的世界表示。