图灵奖得主LeCun团队新作：在世界模型中导航

图灵奖得主LeCun团队新作：在世界模型中导航

引用

网易

1.

https://m.163.com/dy/article/JITBIH5V051193U6.html

Meta FAIR团队近日发布了最新的导航世界模型（Navigation World Models，NWM），这是继DeepMind和World Labs之后，又一个在世界模型领域取得重要进展的研究成果。

NWM的核心优势

NWM最大的特点是其强大的导航能力。它不仅能够在已知环境中按照给定轨迹行进，还能够在未知环境中自主寻找前进道路，并能执行路径规划。与DeepMind的Genie 2相比，NWM在单图生视频方面稍逊一筹，但在导航能力方面更具优势。

NWM的技术细节

NWM基于一种名为条件扩散Transformer（CDiT）的新架构。与标准的扩散Transformer（DiT）相比，CDiT能够更高效地扩展到10亿参数规模，同时计算需求更低。通过在不同机器人智能体的视频和导航动作上进行训练，NWM能够实现规划模拟，从而在视觉导航任务中达到当前最先进的性能。

NWM的实验结果

在已知环境中的实验结果显示，NWM在视频预测质量和一致性方面明显优于基线模型DIAMOND。在未知环境中的实验则表明，通过在Ego4D等无动作和无奖励的视频数据上训练，NWM能够在未见过的环境中取得更好的视频预测和生成性能。

NWM的应用前景

NWM不仅能够独立执行目标导向的导航，还可以增强现有的导航策略。通过与SOTA导航策略NoMaD结合使用，NWM能够对采样的导航轨迹进行评估和排序，从而实现更优的导航性能。

这项研究展示了世界模型在导航任务中的巨大潜力，也为未来AI系统在复杂环境中的自主导航提供了新的思路和方法。