深度学习之视觉特征提取器——AlexNet

深度学习之视觉特征提取器——AlexNet

引用

CSDN

1.

https://blog.csdn.net/m0_61787307/article/details/138488706

AlexNet

参考资料：
（1）ImageNet十年历任霸主之AlexNet - 知乎 (zhihu.com)
（2）AlexNet - Wikipedia

引入

AlexNet在2012年以第一名在Top-1分类精度霸榜ImageNet，并超过第二名近10个百分点。值得注意的是，霸榜2013年的ZFNet实际上是对AlexNet进行调参后得到的更好结果。相比于早期的LeNet实现的十分类，AlexNet能够成功进行一千分类并且达到了一个新的高度。此外，AlexNet证明了神经网络的深度对模型效果至关重要，并且可以利用GPU大大加速这一过程。

尽管AlexNet的知名度和热度可能不如VGG，但其里程碑意义不容忽视。AlexNet不仅在效果上有所突破，更重要的是，它引入了归一化思想、Dropout和ReLU的应用，以及深层网络利用GPU加速等关键技术创新，为后续的研究提供了坚实的基础。

模型结构

AlexNet 包含八层：前五层是卷积层，其中一些是最大池化层，后三层是全连接层。除最后一层外，网络被拆分为两个部分，每个部分在一个 GPU 上运行。整个结构可以写成：

( C N N → L R N → M P ) 2 → ( C N N 3 → M P ) → ( F C → D O ) 2 → L i n e a r → S o f t m a x

其中各个字母分别代表着：

• CNN = 卷积层（后面紧接着激活函数 ReLU）
• LRN = 局部响应归一化（Local Response Normalization）
• MP = 最大池化（Maxpooling）
• FC = 全连接层（后面紧接着激活函数 ReLU）
• 线性 = 全连接层（未激活）
• DO = 随机丢失（Dropout）

更为详细的结构图如下所示：

局部响应归一化（Local Response Normalization）是一种归一化方式，主要针对的是卷积核不同通道上相同位置的参数。用数学公式表示就是：