什么是世界模型世界模型是一种学习环境内在运行规律的模型。给定当前状态或观测和要执行的动作它能预测出下一时刻的状态、奖励以及是否终止。其核心能力是构建一个可用于“内心推演”的虚拟环境代理使智能体无需与真实环境反复交互就能进行规划、评估和学习。这种思想并非新生事物认知科学中早有“心智模型”之说而机器学习中的世界模型可追溯到 Schmidhuber 在 1990 年代的工作。2018 年Ha 和 Schmidhuber 的《World Models》用相对简单的模型在赛车游戏上大获成功让这一概念重回前沿。在具身智能中世界模型的价值在于机器人可以在大脑中模拟“如果我这样做会发生什么”从而避开真实试错带来的时间和安全成本。世界模型的核心架构无论具体实现如何变化世界模型通常包含三个核心模块观测 → 编码器 → 潜状态 → 动态预测器 → 下一潜状态 → 解码器 → 预测观测 ↑ ↑ 奖励预测器 动作输入编码器将高维感官输入图像、点云、触觉压缩为紧凑的潜状态。动态预测器学习潜状态之间的转移规律通常是一个循环网络或 Transformer接收潜状态和动作输出下一潜状态。解码器可选从潜状态重建观测用于可视化或辅助训练。现代模型常完全在潜空间中操作不依赖重建。奖励/终止预测器从潜状态预测奖励和任务结束信号用于策略训练。世界模型的三大流派根据“学到什么”和“如何用”世界模型可以分为三条技术路线1. 端到端世界模型Dreamer 系列直接在学到的潜空间中训练策略无需真实环境交互。代表性工作DreamerV1/V2使用 RSSM 学习潜状态转移在潜空间中用策略梯度优化。DreamerV3里程碑式突破。它证明了一套固定超参数的世界模型能解决涵盖 Minecraft 钻石收集、机器人灵巧操作、Atari 游戏等 150 多种任务无需任何任务特定的调参。其核心是Symlog 预测、离散表示、稳健的策略学习与自适应的价值网络。DreamerV3 展示了世界模型惊人的通用性。2. 隐式世界模型 规划TD-MPC 系列不显式预测未来图像而是学习一个隐式潜空间模型并与模型预测控制结合。TD-MPC2用一个编码器-动力学模型结合采样的轨迹规划在有限交互样本下达到极强性能。它在多种机器人运动和操作任务如四足行走、机械臂灵巧操作上以极少的真实环境交互就超越了纯模型自由方法。3. 生成式世界模型视频预测与扩散模型直接利用强大的生成模型如扩散模型、视频生成模型预测未来的真实图像/视频然后在这些预测帧上提取动作或进行规划。UniPi使用预训练的文本到视频模型根据“指令 初始图像”生成可能执行的未来视频片段再用一个逆向动力学小策略从视频帧中解析出动作序列。巧妙之处在于它将世界模型外包给了互联网级视频生成器。Sora/GenieOpenAI 称 Sora 为“世界模拟器”它能生成连贯、逼真的视频展现出对三维空间和物理交互的初步理解。DeepMind 的 Genie 则从互联网视频中学习交互式世界模型只需一幅图像就能生成可操作的游戏环境。这类工作展示了从纯视频数据中学习物理直觉的可能性。世界模型与 VLA 的共生关系VLA视觉-语言-动作模型和世界模型并非竞争而是互补它们正在快速融合维度VLA世界模型核心能力语义理解指令到动作物理直觉动作后果预测推理方式前馈直接映射内心模拟多步推演优势常识丰富零样本泛化可规划可纠错当前融合RT-2 没有显式规划UniPi 用视频世界模型为 VLA 提供规划未来趋势是“VLA 大脑 世界模型前额叶”VLA 负责理解“做什么”世界模型则负责在脑中预演“做完之后会怎样”两者结合形成类似丹尼尔·卡尼曼提出的“系统 1快思考和系统 2慢思考”机制——直觉式动作生成 审慎式模拟验证。π0 等模型已开始内化简单的世界模型能力可以生成连贯的动作流并处理闭环扰动。关键挑战与前沿探索挑战描述解决方向长程预测累积误差推演越长预测越失真多步预测训练、基于扩散的跳跃预测、关键帧规划部分可观测与不确定性真实世界充满未知遮挡、光照变化贝叶斯潜变量、集合预测、VLM 辅助的世界状态估计高维动作空间五指灵巧手、全身控制层次化世界模型、动作离散化、扩散策略计算成本在线规划需要大量实时前向传播模型蒸馏、隐式规划直接训练策略、专用硬件与真实环境的对齐模型中的幻想可能与实际物理规律不符在线微调、残差学习、不确定性感知规划世界模型在内部模拟环境动态用于规划、潜空间训练或生成预测视频并逆向出动作最终驱动真实环境中的机器人。随着世界模型学到越来越精准的“物理直觉”具身智能体将真正拥有在思维中预演未来的能力。