TD-MPC：世界模型如何用于机器人控制？

Fri, 07 Aug 2026 00:00:00 +0000

上一篇文章我们拆解了 RSSM 的双轨状态设计，理解了 Dreamer 系列如何在隐空间中"想象"未来。但 RSSM 并不是世界模型用于机器人控制的唯一路线。今天聊另一条重要路线：TD-MPC（Temporal Difference Model Predictive Control）。

如果说 Dreamer 的核心是利用学习到的世界模型，在隐空间中进行 imagined rollout，并通过 actor-critic 方法优化策略，那 TD-MPC 的核心思路更直接：学一个世界模型，然后在模型里做规划（planning），选出最优动作序列直接执行。它不把策略网络作为唯一决策方式，而是利用世界模型进行在线规划，并结合学习到的策略先验提高搜索效率。

为什么需要 Model Predictive Control

先退一步。传统的强化学习（比如 DQN、PPO）学的是一个策略 π(a|s)——给定当前状态，直接输出动作。这个策略是在大量试错中训练出来的，一旦训练完成，推理时只需要前向传播一次。

但这种方式有两个问题：

第一，样本效率低。策略需要大量交互数据才能学好，而真实机器人的交互成本很高。

第二，缺乏"前瞻性"。策略网络只看当前状态就决定动作，不会主动"想一想如果我这样做，接下来几步会怎样"。

Model Predictive Control（MPC）的思路完全不同：在每个时间步，基于当前状态，在模型中模拟多条未来轨迹，评估每条轨迹的累积回报，选择回报最高的那条轨迹的第一个动作执行。然后到下一个时间步，重新规划。

这就像下棋：不是靠直觉走一步，而是向前推演几步，选最好的走法。

TD-MPC 的核心设计

TD-MPC（Hansen et al., 2022）的关键贡献在于：它证明了一个面向控制任务学习的隐空间动力学模型，可以与 MPC 规划结合，并通过 TD 学习目标获得高效控制能力。注意，MPC 和 model-based RL 的结合并不是新概念——TD-MPC 的创新在于用 TD 目标替代重建损失来训练世界模型。

世界模型的结构

TD-MPC 的核心组件包括状态编码器、隐空间动力学模型、奖励预测模型，以及用于价值评估的 Q 网络：

状态编码器（Encoder）

`z_t = Encoder(o_t)`

把高维观测（比如图像）压缩到一个低维的隐状态 z_t。这个隐状态不需要像 RSSM 那样拆成确定性和随机性两部分——TD-MPC 用的是确定性隐状态，结构更简单。

动力学模型（Dynamics Model）

`z_{t+1} = f(z_t, a_t)`

给定当前隐状态和动作，预测下一步的隐状态。这就是世界模型的核心——它学会了环境的状态转移规律。

机器人控制 on WorldSense 技术笔记

TD-MPC：世界模型如何用于机器人控制？

为什么需要 Model Predictive Control

TD-MPC 的核心设计

世界模型的结构