3DGS SLAM最新研究：实现实时高质量3D场景重建和精确的相机位姿跟踪

3DGS SLAM最新研究：实现实时高质量3D场景重建和精确的相机位姿跟踪

本文介绍了一种名为MM3DGS的多模态SLAM系统，该系统基于3D高斯映射表示，并利用视觉、惯性以及深度测量来实现实时逼真的3D重建和改进的轨迹跟踪。该系统在UT-MM数据集上进行了评估，并取得了比当前3DGS SLAM方法更好的定量和定性轨迹跟踪以及图像渲染效果。关键贡献包括将惯性测量和深度估计集成到3D高斯SLAM框架中，发布了多模态数据集，并在该数据集上取得了优越的轨迹跟踪和渲染质量。

1. 引言

这篇文章介绍了一种名为MM3DGS的多模态SLAM系统，该系统基于3D高斯映射表示，并利用视觉、惯性以及深度测量来实现实时逼真的3D重建和改进的轨迹跟踪。该系统在UT-MM数据集上进行了评估，并取得了比当前3DGS SLAM方法更好的定量和定性轨迹跟踪以及图像渲染效果。关键贡献包括将惯性测量和深度估计集成到3D高斯SLAM框架中，发布了多模态数据集，并在该数据集上取得了优越的轨迹跟踪和渲染质量。

2. 主要贡献

• 融合了惯性测量和深度估计：提出了一个名为MM3DGS的实时SLAM框架，该框架将未校准的单目RGB或RGB-D相机的惯性测量和深度估计整合到基于3D高斯映射的场景表示中。这使得框架具有尺度感知能力，并能实现横向、纵向和垂直轨迹对齐。此外，该框架可以利用大多数消费者智能手机上可获得的低廉传感器输入。

• 发布了一个多模态数据集：发布了一个使用移动机器人收集的多模态数据集，其中包含几个室内场景的RGB和RGB-D图像、激光雷达深度、6自由度惯性测量单元(IMU)测量以及用于误差分析的地面真值轨迹。

• 实现了优于当前最先进的3DGS SLAM基线的定量和定性轨迹跟踪和光度渲染结果：与当前最先进的基于3D高斯映射的SLAM基线相比，MM3DGS在轨迹跟踪方面实现了3倍改进，在光度渲染质量方面实现了5%的提升。

3. 方法

多模态SLAM框架MM3DGS的方法，具体包括以下主要内容：

• 3DGS：3D高斯映射场景表示方法，使用一组3D高斯分布来描述场景，并通过高斯溅射(splatting)将3D高斯映射渲染为2D图像。该方法具有可微分性，可以通过光度损失进行优化。

• Tracking(跟踪)：通过固定3D高斯映射，优化相机位姿。同时，利用惯性测量作为相机位姿的先验估计，以提高跟踪的准确性。

• Depth Supervision(深度监督)：使用深度估计进行几何监督，通过计算估计深度与渲染深度的线性相关性损失，以提高几何一致性。

• Inertial Fusion(惯性融合)：使用IMU的加速度和角速度测量，通过预积分来传播相机位姿，以提供更准确的初始位姿估计。

• Gaussian Initialization(高斯初始化)：在每个关键帧中，在透明度低于0.5且深度误差超过中值50倍的像素处添加新的高斯分布，以覆盖未见的区域。

• Keyframe Selection(关键帧选择)：基于图像共视度和NIQE指标，选择信息量大的帧作为关键帧，以减少冗余处理。

• Mapping(建图)：在当前关键帧及其共视关键帧集合上优化高斯参数，以提高渲染质量。

通过这些方法，MM3DGS框架能够实现实时的高质量3D场景重建和精确的相机位姿跟踪。

4. 实验

数据集：

• 发布了一个新的多模态SLAM数据集UT-MM，包含室内场景的RGB-D图像、IMU测量、LIDAR深度和精确的地面真值轨迹。

• 在UT-MM数据集的8个场景上评估了框架，并使用了TUM RGB-D数据集来评估单目SLAM模型的性能。

评价指标：

• 使用了绝对轨迹误差均方根(RMSE)来评估跟踪准确性，使用峰值信噪比(PSNR)来评估场景重建质量。

• 使用了SplaTAM作为基准进行比较。

实现细节：

• 在RTX A5000 GPU上运行框架，不进行多线程。

• 对所有场景进行100次姿态优化迭代，随后进行150次地图优化迭代。

• 设置损失函数超参数为λC=0.8，λS=0.2，λD=0.05。

表1:UT-MM数据集上的多模态SLAM结果

表2:TUM RGB-d数据集上的单目RGB配置结果

表3:在TUM RGB- d freiburg1/desk2场景下的单目RGB配置消融结果

5. 总结

作者提出了MM3DGS，这是一个建立在3D高斯地图表示上的多模态SLAM框架，利用视觉、惯性和深度测量来实现实时逼真渲染和改进的轨迹跟踪。在一个新的多模态数据集UT-MM上评估了我们的框架，该数据集包括RGB-D图像、IMU测量值、激光雷达深度和地面真实轨迹。与最先进的基线相比，MM3DGS实现了卓越的跟踪精度和渲染质量。此外，进行了消融研究，以强调我们的框架的重要性。MM3DGS可以在机器人、增强现实和移动计算等广泛应用中实现，因为它使用了常见且廉价的传感器。在未来的工作中，MM3DGS可以扩展到包括紧密耦合的IMU融合和环路关闭，以进一步提高跟踪性能。

本文仅做学术分享，如有侵权，请联系删文。