计算机视觉五大技术——深度学习在图像处理中的应用

创作时间:

作者:

@小白创作中心

计算机视觉五大技术——深度学习在图像处理中的应用

引用

CSDN

https://blog.csdn.net/m0_74279129/article/details/147001703

计算机视觉是人工智能领域的重要分支，它让机器能够“看懂”图像和视频中的内容。深度学习技术的兴起，尤其是卷积神经网络（CNN）的发展，极大地推动了计算机视觉技术的进步。本文将详细介绍计算机视觉领域的五大核心技术：图像分类、目标检测、语义分割、实例分割和关键点检测，帮助读者全面了解深度学习在图像处理中的应用。

1. 图像分类——“图里有狗”

图像分类是计算机视觉中最基础也是最核心的任务之一，其目标是判断整张图片属于哪个类别。例如，判断一张图片是“猫”还是“狗”。

工作原理

图像分类的基本思路是：输入不同类别的图像，给每个相同类别的图像打上相同标记，训练一个分类器来学习每个类别的外部特征。目前较为流行的图像分类架构是卷积神经网络（CNN）。

卷积神经网络（CNN）

CNN通过卷积层和池化层来处理图像数据：

卷积层：输入数据首先经过卷积层，在卷积层中每次只关注图像中的一个小局部区域，每个节点只需要处理离自己最近的邻近节点。一点一点看完了就能组成大概的轮廓，每次只看一点点像扫描仪一样滑动的过程就是滑动窗口。
池化层：经过卷积层后再通过池化层，池化层是简化图像、减小数据量的，它会从每一小块区域中选出一个最“突出的”像素（最大值），只看重要的信息。

2. 目标检测——“图里有狗，狗在哪个位置”

目标检测的任务是识别图像中存在的物体，并给出这些物体的位置和边界。例如，识别并框出图像中的“人”、“车”、“狗”等多个物体。

模型进化历程

目标检测模型经历了从R-CNN到Faster R-CNN的演变：

R-CNN：原理流程包括选择性搜索提取大约 2000 个区域（region proposals），每个区域都单独送入 CNN 提取特征，然后将特征送入 SVM 分类器和边界框回归器。但这种方法速度慢且占用大量存储空间。
Fast R-CNN：改进点包括整张图只跑一次 CNN，生成一个大的特征图，所有区域建议直接在这张特征图上进行提取（用 ROI pooling 层），用 Softmax 替代 SVM 进行分类，整个网络是端到端训练的。
Faster R-CNN：引入 RPN（Region Proposal Network），不再用传统的“选择性搜索”，RPN 是一个小的 CNN 网络，能自动从特征图中生成“候选框”，每个位置输出 k 个框，每个框预测是否包含目标及位置。

3. 语义分割——“图里每个像素属于哪个类别”

语义分割是对图像中每个像素进行分类，区分不同类别的区域。例如，区分狗的每个像素和背景的每个像素。

解决方案

加州大学伯克利分校提出的全卷积网络（FCN）开创了现代语义分割范式：

FCN：核心思想是把分类网络里的全连接层全部取消，用卷积 + 上采样实现“像素级分类”，不管输入图像大小如何，输出都是对应大小的 mask 图。
SegNet：是 FCN 的一个改进版，引入了编码器-解码器结构，同时在解码阶段加入了 skip connections（跳跃连接），保留原始分辨率信息，辅助边界还原。
DeepLab 系列 & RefineNet：DeepLab 使用了空洞卷积（Dilated Convolution）保留大感受野，不损失分辨率；RefineNet 利用多层 skip connection 汇聚多尺度特征，更加强调边界对齐和细节保持。

4. 实例分割——“图里有狗，狗在哪，且区分不同的狗”

实例分割结合了目标检测和语义分割，不仅要识别出物体的类别，还要将同一类别的多个实例分开，并为每个实例的每个像素生成准确的边界。

关键技术

Mask R-CNN：在 Faster R-CNN 基础上扩展，通过添加一个分支预测每个候选框对应物体的像素级别的分割掩膜。优点是高精度和端到端训练，缺点是计算量较大。
PANet：在 Mask R-CNN 基础上增加了路径聚合模块，通过细化信息流和多尺度特征融合来改善实例分割性能。
YOLACT：采用实时实例分割方法，通过将实例分割拆分成两个步骤：首先预测每个物体的特征，然后通过系数与特定的原型进行结合，生成最终的分割掩膜。优点是速度快，适用于实时任务，缺点是在复杂图像和小物体上分割效果较差。