LeCun的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划
LeCun的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划
在LLM应用不断迭代升级更新的当下，图灵奖得主Yann LeCun却代表了一股不同的声音。他在许多不同场合都反复重申了自己的一个观点：当前的LLM根本无法理解世界。他曾说过：“LLM‘理解逻辑的能力非常有限……无法理解物理世界，没有持续性记忆，不能推理（只要推理的定义是合理的）、不能规划。’
相反，他更注重所谓的世界模型（World Model），也就是根据世界数据拟合的一个动态模型。比如驴，正是有了这样的世界模型，它们才能找到更省力的负重登山方法。
近日，LeCun团队发布了他们在世界模型方面的一项新研究成果：基于预训练的视觉特征训练的世界模型可以实现零样本规划！也就是说该模型无需依赖任何专家演示、奖励建模或预先学习的逆向模型。
DINO世界模型
概述和问题表述
该研究遵循基于视觉的控制任务框架，即将环境建模为部分可观察的马尔可夫决策过程（POMDP）。POMDP可定义成一个元组(O, A, p)，其中O表示观察空间，A表示动作空间。p(o_{t+1} | o≤t, a≤t)是一个转移分布，建模了环境的动态，可根据过去的动作和观察预测未来的观察。
这项研究的目标是从预先收集的离线数据集中学习与任务无关的世界模型，然后在测试时间使用这些世界模型来执行视觉推理。
在测试时间，该系统可从一个任意的环境状态开始，然后根据提供的目标观察（RGB图像形式），执行一系列动作a_0, ..., a_T，使得目标状态得以实现。
该方法不同于在线强化学习中使用的世界模型，其目标是优化手头一组固定任务的奖励；也不同于基于文本的世界模型，其目标需要通过文本提示词指定。
基于DINO的世界模型（DINO-WM）
该团队将环境动态建模到了隐藏空间中。更具体而言，在每个时间步骤t，该世界模型由以下组分构成：
- 观察模型：将图像观察编码成隐藏状态z_t
- 转移模型：以长度为H的过去隐藏状态历史为输入
- 解码器模型：以隐藏的z_t为输入，重建出图像观察o_t
- θ：表示这些模型的参数
该团队指出，其中的解码器是可选的，因为解码器的训练目标与训练世界模型的其余部分无关。这样一来，就不必在训练和测试期间重建图像了；相比于将观察模型和解码器的训练结合在一起的做法，这还能降低计算成本。
DINO-WM仅会建模环境中离线轨迹数据中可用的信息，这不同于近期的在线强化学习世界模型方法（还需要奖励和终止条件等与任务相关的信息）。
使用DINO-WM实现视觉规划
为了评估世界模型的质量，需要了解其在下游任务上的推理和规划能力。一种标准的评估指标是在测试时间使用世界模型执行轨迹优化并测量其性能。虽然规划方法本身相当标准，但它可以作为一种展现世界模型质量的手段。
为此，该团队使用DINO-WM执行了这样的操作：以当前观察o_0和目标观察o_g（都是RGB图像）为输入，规划便是搜索能使智能体到达o_g的一个动作序列。为了实现这一点，该团队使用了模型预测性控制（MPC），即通过考虑未来动作的结果来促进规划。
为了优化每次迭代的动作序列，该团队还使用了一种随机优化算法：交叉熵方法（CEM）。其规划成本定义为当前隐藏状态与目标隐藏状态之间的均方误差（MSE）。
实验
该团队基于以下四个关键问题进行了实验：
- 能否使用预先收集的离线数据集有效地训练DINO-WM？
- 训练完成后，DINO-WM可以用于视觉规划吗？
- 世界模型的质量在多大程度上取决于预训练的视觉表征？
- DINO-WM是否可以泛化到新的配置，例如不同的空间布局和物体排列方式？
为了解答这些问题，该团队在5个环境套件（Point Maze、Push-T、Wall、Rope Manipulation、Granular Manipulation）中训练和评估了DINO-WM，并将其与多种在隐藏空间和原始像素空间中建模世界的世界模型进行了比较。
使用DINO-WM优化行为
该团队研究了DINO-WM是否可直接用于在隐藏空间中实现零样本规划。
如表1所示，在Wall和PointMaze等较简单的环境中，DINO-WM与DreamerV3等最先进的世界模型相当。但是，在需要准确推断丰富的接触信息和物体动态才能完成任务的操纵环境中，DINO-WM的表现明显优于之前的方法。
下面展示了一些可视化的规划结果：
预训练的视觉表征重要吗？
该团队使用不同的预训练通用编码器作为世界模型的观察模型，并评估了它们的下游规划性能。
在涉及简单动态和控制的PointMaze任务中，该团队观察到具有不同观察编码器的世界模型都实现了近乎完美的成功率。然而，随着环境复杂性的增加（需要更精确的控制和空间理解），将观察结果编码为单个隐藏向量的世界模型的性能会显著下降。他们猜想基于图块的表征可以更好地捕获空间信息，而R3M、ResNet和DINO CLS等模型是将观察结果简化为单个全局特征向量，这样会丢失操作任务所需的关键空间细节。
泛化到全新的环境配置
该团队也评估了新提出的模型对不同环境的泛化能力。为此，他们构建了三类环境：WallRandom、PushObj和GranularRandom。实验中，世界模型会被部署在从未见过的环境中去实现从未见过的任务。图6展示了一些示例。
结果见表3。可以看到，DINO-WM在WallRandom环境中的表现明显更好，这表明世界模型已经有效地学习了墙壁和门的一般概念，即使它们位于训练期间未曾见过的位置。相比之下，其他方法很难做到这一点。
PushObj任务对于所有方法来说都挺难，因为该模型仅针对四种物体形状进行了训练，这使其很难精确推断重心和惯性等物理参数。
在GranularRandom中，智能体遇到的粒子不到训练时出现的一半，导致图像出现在了训练实例的分布之外。尽管如此，DINO-WM依然准确地编码了场景，并成功地将粒子聚集到与基线相比具有最小Chamfer Distance（CD）的指定方形位置。这说明DINO-WM具有更好的场景理解能力。该团队猜想这是由于DINO-WM的观察模型会将场景编码为图块特征，使得粒子数量的方差仍然在每个图块的分布范围内。
与生成式视频模型的定性比较
鉴于生成式视频模型的突出地位，可以合理地假设它们可以很容易地用作世界模型。为了研究DINO-WM相对于此类视频生成模型的实用性，该团队将其与AVDC（一个基于扩散的生成式模型）进行了比较。
如图7所示，可以看到，在基准上训练的扩散模型能得到看起来相当真实的未来图像，但它们在物理上并不合理，因为可以看到在单个预测时间步骤中就可能出现较大的变化，并且可能难以达到准确的目标状态。
结论
DINO-WM所代表的方法看起来颇有潜力，该团队表示：“DINO-WM朝着填补任务无关型世界建模以及推理和控制之间的空白迈出了一步，为现实世界应用中的通用世界模型提供了光明的前景。”
论文标题：DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning