无需位姿先验！无需深度图！VDG：搞定动态场景重建 & 新视角合成
无需位姿先验！无需深度图！VDG：搞定动态场景重建 & 新视角合成
自动驾驶技术的发展离不开可靠的驾驶模拟系统，而动态场景重建是其中的关键技术之一。最近，来自西北工业大学、百度VIS和香港科技大学的研究团队提出了一种名为VDG（Vision-Only Dynamic Gaussian）的新方法，该方法通过引入自监督视觉里程计，实现了仅基于视觉输入的动态场景重建，无需依赖姿态先验或深度图。本文将详细介绍这一创新方法及其在自动驾驶领域的应用前景。
背景与挑战
自动驾驶（AD）具有巨大的潜力，并可能彻底改变未来的交通方式。确保自动驾驶系统的安全性已成为广泛开发工作的主要焦点。驾驶模拟已成为培训和评估AD软件和算法的一种可靠、安全、高效的选择。模拟提供了一个强大的平台，能够在受控的虚拟环境中进行全面测试和评估，这也是一个安全且受控的训练空间，允许在各种场景下对软件和算法进行广泛测试。在可扩展的驾驶模拟中，一个重大挑战是建模和表示大规模的城市场景。
最近发明的神经辐射场（NeRF）和3D高斯样条（3D-GS）在基于图像的新视图合成和3D重建任务中弥合了计算机视觉和计算机图形学之间的鸿沟。通过结合这些合成视图，算法能够暴露于更广泛的观看条件，从而增强其鲁棒性和泛化能力。这种方法有可能显著提高现实世界场景中感知算法的性能，推动自动驾驶技术的进步。
然而，现有的方法存在一些局限性：
- 一些方法需要额外的LiDAR点云和准确的姿态先验作为输入
- 基于SfM的方法耗时长
- 基于NeRF的方法仅限于小规模静态场景
- RoDynRF需要额外计算前向/后向流，难以应用于可扩展的驾驶模拟
VDG方法创新点
为了解决上述问题，研究团队提出了VDG方法，其主要创新点包括：
自监督视觉里程计：通过引入自监督视觉里程计，VDG能够产生精确的相机姿态估计，并提供与姿态估计尺度相匹配的密集深度估计。这种密集深度估计在高斯初始化中起着关键作用，增强了方法的有效性。
场景分解与运动掩码监督：VDG在框架中引入了场景分解步骤，将场景分为静态和动态组件。为了获得更好的结果，相应地参数化和更新姿态。由于框架采用了自我分解的方法，在没有真实姿态的情况下分解场景变得具有挑战性。为了解决这个问题，VDG利用视觉里程计生成的运动掩码，并引入了一种运动掩码监督机制。该机制提高了网络识别场景中动态对象的能力。
实验结果与性能评估
研究团队在KITTI和Waymo数据集上进行了全面的实验，证明了VDG方法的优越性。实验结果表明：
- 在渲染速度和渲染质量等所有指标上，VDG显著优于其他基线方法
- 基于NeRF的方法训练时间明显长于VDG，且渲染结果远不如VDG
- 与依赖LiDAR点云的知名方法（如3DGS和SUDS）相比，VDG取得了相当的性能
总结与展望
VDG方法通过引入自监督视觉里程计，解决了动态场景重建中姿态估计和深度初始化的问题。该方法在Waymo开放数据集和KITTI基准测试中，在渲染质量和动态-静态分解方面显著优于最先进的方法。这一创新为自动驾驶领域的动态场景重建提供了新的解决方案，具有重要的应用前景。