资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

自动驾驶之点云与图像融合综述

创作时间:

作者:

@小白创作中心

自动驾驶之点云与图像融合综述

引用

来源

https://picture.iczhiku.com/weixin/message1624292383533.html

自动驾驶技术是未来出行的重要发展方向，其中基于图像和点云的深度学习数据融合方法在感知任务中发挥着关键作用。本文将从深度学习基础、深度估计、目标检测、语义分割、传感器在线标定等多个维度，全面介绍这一领域的最新研究进展。

深度学习基础

基于图像的深度学习方法

卷积神经网络（CNNs）是目前对图像理解和处理最有效的模型之一。与多层感知器（MLP）相比，CNN具有平移不变性，通过卷积层、批归一化（BN）层、ReLU层和池化层等层次结构，能够有效地提取图像特征并学习高阶语义信息。

基于点云的深度学习方法

点云数据的处理方法多种多样，主要包括以下几种：

体素表示（Volumetric representation）：将点云按照固定分辨率组成三维网格，每个网格的特征都是学习得到的。这种方法可以轻松获取网格内部结构，但在体素化过程中会损失空间分辨率和细粒度的三维几何形状。
索引/树表示（Index/Tree representation）：将点云划分为一系列不平衡的树结构，可以根据区域的点密度进行分区，对于点密度较低的区域具有较低的分辨率，从而节省内存和计算资源。
二维视图表示（2D views representation）：将点云投影到多个二维视图上，然后利用CNN对这些图像进行检测。这种方法易于理解和实现。
图表示（Graph representation）：将点云表示为图结构，在空间或光谱域上实现卷积操作。这种方法能够更好地保留点云的几何结构信息。
点表示（Point representation）：直接使用点云数据，而不是将其转换为中间数据表示。这是目前点云深度学习中最流行的方式，例如PointNet、PointNet++和RandLA-Net等方法。点卷积直接表征点之间的空间关系，目的是将标准的二维离散卷积推广到三维连续空间中，使用连续权重函数替代离散权重函数，如PointConv和KPConv等。

深度估计

深度估计的目标是将稀疏的点云通过上采样方法生成稠密且规则的深度信息，这有助于改善激光雷达扫描得到的点云不均匀分布问题，并为后续的感知模块提供更丰富的信息。核心思想是将图像的RGB信息与点云的3D几何信息相结合，使得图像RGB信息包含相关的3D几何信息。具体方法包括Mono-Lidar融合和Stereo-Lidar融合。

Mono Camera and LiDAR fusion

Mono-Lidar融合方法主要包括信号级、特征级和多层次融合：

信号级融合：将点云深度图与图像结合形成RGBD图像，然后送入网络中处理。代表性方法包括Sparse-to-dense（基于ResNet的自动编码网络）、Self-supervised sparse-to-dense（Sparse-to-dense的改进版）、CSPN（卷积空间网络）和CSPN++（CSPN的改进版）。
特征级融合：分别将稀疏深度图和点云送入网络中提取特征，然后进行融合。代表性方法包括《Depth completion and semantic segmentation》、Plug-and-Play、《Confidence propagation through cnns for guided sparse depth regression》和GuideNet等。
多层次融合：将信号级和特征级融合方法结合起来。代表性方法包括《Sparse and noisy lidar completion with rgb guidance and uncertainty》。

Stereo Cameras and LiDAR fusion

Stereo-Lidar融合方法利用立体相机之间的视差获取图像深度值，然后结合稀疏的点云深度信息产生更精确的密集深度。代表性方法包括《High-precision depth estimation using uncalibrated lidar and stereo fusion》、《Noise-aware unsupervised deep lidar-stereo fusion》和《Listereo: Generate dense depth maps from lidar and stereo imagery》。然而，由于立体相机本身的局限性（如基线、遮挡、纹理等），这种方法在自动驾驶中的应用受到一定限制。

动态目标检测

动态目标检测（3D）的目标是在三维空间中定位、分类和估计有方向的边界框。自动驾驶中的动态目标主要包括汽车、行人和骑车人等。主要方法包括顺序检测和单步检测。

基于2D的序列模型

基于2D的序列模型首先对图像进行2D检测或分割，生成ROI区域，然后将ROI投影到3D空间中。代表性方法包括FPointNet、《A general pipeline for 3d detection of vehicles》和RoarNet等。为了克服单一ROI区域内只能包含一个对象的限制，可以采用二维语义分割和区域级种子提议与点级种子提议的组合方法，如IPOD。

特征融合

特征融合方法将点云投影到图像上，然后利用图像处理方法进行特征提取。代表性方法包括DepthRCNN和《Cross modal distillation for supervision transfer》等。

多级融合

多级融合是结果级融合与特征级融合的结合。代表性方法有点融合（Pointfusion）、SIFRNet和Pointsift等。

基于3D的模型

基于3D的模型主要利用点云数据直接进行目标检测，但本文未详细展开。

静止道路物体检测

静止道路物体包括路面、道路标记和交通标识牌等。检测这些物体对于自动驾驶的环境感知至关重要。

道路/车道检测

道路/车道检测方法可以分为基于BEV的方法和基于前视图的方法。基于BEV的方法如《Deep multi-sensor lane detection》和《A novel approach for detecting road based on two-stream fusion fully convolutional network》。基于前视图的方法如《Lidar camera fusion for road detection using fully convolutional neural networks》和《Fast road detection by cnn-based camera-lidar fusion and spherical coordinate transformation》。

交通标志牌检测

交通标志牌检测主要利用图像的纹理信息和点云的反射特性。代表性方法包括《Lidar camera fusion for traffic sign detection》和《Traffic sign detection and recognition using lidar and camera fusion》等。

语义分割

语义分割旨在预测每个像素或每个点的类标签，包括2D语义分割和3D语义分割。

二维语义分割

2D语义分割方法包括《Sparse and dense data with cnns : Depth completion and semantic segmentation》、《Self-supervised model adaptation for multi modal semantic segmentation》和《Lidar camera fusion for road detection using fully convolutional neural networks》等。

三维语义分割

3D语义分割方法包括基于点云体素的3DMV、UPF和MVPNet等。代表性方法还包括SPLATNet，该方法采用稀疏双边卷积实现空间感知表示学习和多模态推理。

实例分割

实例分割是语义分割和目标检测的联合任务，用于区分类中的单个实例。代表性方法包括3D-SIS、Panoptic-fusion和3DBEVIS等。

目标跟踪

目标跟踪是基于历史帧数据信息对目标障碍物的长期监测。MOT（多目标跟踪）算法可以分为基于检测的跟踪（DBT）和不基于检测的跟踪（DFT）。

基于检测的跟踪（DBT）

DBT方法包括《End-to-end learning of multi-sensor 3d tracking by detection》和《Robust multi-modality multi-object tracking》等。代表性方法还包括《Track to reconstruct and reconstruct to track》和MOTSFusion。

不基于检测的跟踪（DFT）

DFT方法主要基于有限集统计（FISST）进行状态估计，代表性方法包括Complexer-YOLO等。

在线跨传感器标定

在线跨传感器标定（Online Cross-Sensor Calibration）是将激光雷达与相机之间进行在线校准，以解决传感器外参变化带来的融合算法性能下降问题。

经典在线校正方法

经典方法包括《Cross-calibration of push-broom 2d lidars and cameras in natural scenes》、《Automatic calibration of lidar and camera images using normalized mutual information》等。代表性方法还包括《Visual odometry driven online calibration for monocular lidar-camera systems》。