深度学习中的池化层理论详解

深度学习中的池化层理论详解

引用

CSDN

1.

https://blog.csdn.net/weixin_45758642/article/details/119388115

目录

• 1. 什么是池化层
• 2. 池化层作用
• 3. 常见的池化层
• 3.1 最大池化层（max pooling layer）
• 3.2 平均池化层（average pooling layer）
• 3.3 重叠池化层（Overlapping Pooling layer）
• 3.4 其它池化层

1. 什么是池化层

1. 池化是缩小高、长方向上的空间的运算。池化层是具有这种功能的一个深度学习的层。
2. 对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。
3. 下图是Max池化的一个例子，将2* 2的区域集约成一个元素：
   上述池化过程：按照步幅为2的间隔，依次对每一个2*2的区域取最大值，并将结果存到对应位置。一般来说，池化窗口的大小会和步幅设为相同的值。

2. 池化层作用

1. 特征不变性：池化操作是模型更加关注是否存在某些特征而不是特征具体的位置。其中不变形性包括，平移不变性、旋转不变性和尺度不变性；
2. 特征降维（下采样）：池化相当于在空间范围内做了维度约减，从而使模型可以抽取更加广范围的特征。同时减小了下一层的输入大小，进而减少计算量和参数个数；
3. 在一定程度上防止过拟合，更方便优化；
4. 实现非线性（类似relu）；
5. 扩大感受野。

3. 常见的池化层

3.1 最大池化层（max pooling layer）

选图像区域的最大值作为该区域池化后的值。

3.2 平均池化层（average pooling layer）

计算图像区域的平均值作为该区域池化后的值。

3.3 重叠池化层（Overlapping Pooling layer）

重叠池化，即相邻池化窗口之间会有重叠区域。如果定义池化窗口的大小为sizeX，定义两个相邻池化窗口的水平位移或竖直位移为stride，此时sizeX>stride。

3.4 其它池化层

更多类型的池化层可以参考：https://zhuanlan.zhihu.com/p/77040467

4. 参考资料

• https://blog.csdn.net/yjl9122/article/details/70198357
• https://blog.csdn.net/Chen_Swan/article/details/105486854