资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

【机器学习】经典CNN架构

创作时间:

作者:

@小白创作中心

【机器学习】经典CNN架构

引用

CSDN

https://blog.csdn.net/qq_44214428/article/details/141089172

卷积神经网络（CNN）作为深度学习领域最成功的模型之一，在计算机视觉、自然语言处理等领域取得了突破性进展。本文将带你回顾几种经典的CNN架构，从最早的LeNet到开创性的AlexNet，再到近年来屡获佳绩的VGGNet、GoogLeNet和ResNet，探讨它们的创新点和发展历程。

1. 引言

卷积神经网络(Convolutional Neural Networks, CNN)是深度学习中最成功的模型之一,在计算机视觉、自然语言处理等领域取得了巨大成功。本文将介绍几种经典的CNN架构,包括LeNet、AlexNet、VGGNet、GoogLeNet(Inception)和ResNet等,探讨它们的创新点和发展历程。

2. LeNet

LeNet是最早的CNN架构之一,由Yann LeCun等人于1998年提出,用于手写数字识别。它的结构如下:

  
INPUT => CONV => POOL => CONV => POOL => FC => FC => OUTPUT

其中:

CONV: 卷积层,提取局部特征
POOL: 池化层,降低特征维度
FC: 全连接层,进行分类

LeNet的创新之处在于引入了卷积层和池化层,极大地减少了网络参数,提高了模型的泛化能力。

3. AlexNet

AlexNet是2012年ImageNet大赛的冠军模型,由Alex Krizhevsky等人提出,被认为是深度学习在计算机视觉领域的开端。它的结构如下:

  
INPUT => CONV => POOL => CONV => POOL => CONV => CONV => CONV => POOL => FC => FC => FC => OUTPUT

AlexNet的主要创新点包括:

使用了ReLU激活函数,提高了训练效率。
引入了Dropout技术,有效缓解了过拟合问题。
利用GPU并行计算,大大加快了训练速度。
数据增强技术,如翻转、裁剪等,增加了训练数据的多样性。

4. VGGNet

VGGNet是2014年ImageNet大赛的亚军模型,由Karen Simonyan和Andrew Zisserman提出。它的结构如下:

  
INPUT => CONV => CONV => POOL => CONV => CONV => POOL => CONV => CONV => CONV => POOL => CONV => CONV => CONV => POOL => FC => FC => FC => OUTPUT

VGGNet的特点是使用了连续的3x3小卷积核,代替了AlexNet中的大卷积核,提高了非线性表达能力。同时,VGGNet也探索了不同深度的网络结构,发现深度对提高性能至关重要。

5. GoogLeNet(Inception)

GoogLeNet是2014年ImageNet大赛的冠军模型,由Christian Szegedy等人提出。它的核心是Inception模块,如下所示:

  
                 /-------\  
                 |       |  
                 |  1x1  |  
                 |       |  
                 \-------/  
                     |  
                     |  
         /-------\  /-------\  /-------\  
         |       |  |       |  |       |  
         |  3x3  |  |  5x5  |  |  3x3  |  
         |       |  |       |  |       |  
         \-------/  \-------/  \-------/  
                     |  
                     |  
                 /-------\  
                 |  1x1  |  
                 |       |  
                 \-------/  
                     |

Inception模块通过并行的卷积核组合,提高了网络的表达能力,同时控制了参数数量。GoogLeNet还引入了辅助分类器,缓解了梯度消失问题。

6. ResNet

ResNet是2015年ImageNet大赛的冠军模型,由Kaiming He等人提出。它的核心是残差模块(Residual Block),如下所示:

  
                   /-----------\  
                   |           |  
                   |    X      |  
                   |           |  
                   \-----------/  
                        |  
                   /-----------\  
                   |           |  
                   |  Weight   |  
                   |           |  
                   \-----------/  
                        |  
                   /-----------\  
                   |           |  
                   | ReLU      |  
                   |           |  
                   \-----------/  
                        |  
                   /-----------\  
                   |           |  
                   |  Weight   |  
                   |           |  
                   \-----------/  
                        |  
                   /-----------\  
                   |           |  
                   | ReLU      |  
                   |           |  
                   \-----------/  
                        |  
                        |  
                   /-----------\  
                   |           |  
                   |    +      |  
                   |           |  
                   \-----------/  
                        |

残差模块通过引入shortcut connection,使得梯度可以直接传递到较浅层,有效缓解了梯度消失/爆炸问题,从而可以训练出更深的网络。ResNet在ImageNet数据集上取得了极高的分类精度。