多传感器融合详解
多传感器融合详解
多传感器融合（Multi-sensor Fusion, MSF）是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。和人的感知相似，不同的传感器拥有其他传感器不可替代的作用，当各种传感器进行多层次，多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。
多传感器融合分类
后端融合算法
后端融合算法又被称为松耦合算法，本质上是对融合后的多维综合数据进行感知，如下图所示，后端融合算法是松散的，在出结果之前，所有的传感器都是独立的，不存在传感器与传感器的约束。这种后端融合方法常见的融合策略是使用EKF或ESKF来实现（一般常见于LIO当中）。
前端融合算法
本质上就是每个传感器作为一部分融合成一个单一的传感器，从整体上来考虑信息，这样做的好处是在前端时候即可融合数据，让这些数据具有关联性，例如当VSLAM在平地行走时，缺少Z轴方向上的激励，这是时通过里程计等传感器的前端融合可以较好地避免系统的衰减。这一类现在是松耦合中常用的策略，基于Ceres函数库对环境进行优化（这一类松耦合方法一般都是基于VIO的）。
多传感器融合方式分类
松耦合
松耦合将多传感器（以视觉传感器和 IMU为例）作为两个单独的模块，两个模块均可以计算得到位姿信息，然后再进行融合。（意思基本就是图像通过特征点估算出位姿，然后和imu结合统一优化位姿【当中不涉及原始数据】）松耦合情况下滤波与优化的对比图。从图中可以看出，优化的优势并不是很明显
紧耦合
紧耦合则是指将多传感器（以视觉和 IMU为例）得到的中间数据通过一个优化滤波器进行处理，紧耦合需要把图像特征加入到特征向量中，最终得到位姿信息的过程。由于这个原因，系统状态向量最终的维度也会非常高，同时计算量也很大。（意思基本就是图像拿出特征点，然后通过残差项：来优化传感器信息，【当中涉及原始数据】）
紧耦合情况下滤波与优化的对比图 ，从图中可以看出，优化的优势较为明显。