全连接层那些事（Fully Connected Layer）

全连接层那些事（Fully Connected Layer）

引用

CSDN

1.

https://blog.csdn.net/festaw/article/details/136684115

全连接层（Fully Connected Layer）是深度学习神经网络中的一种基本层类型，每个神经元都与前一层的所有神经元相连接。本文将详细介绍全连接层的定义、应用场景、作用，并通过代码示例帮助读者更好地理解其工作原理。此外，本文还将介绍Dropout层的作用及其在全连接层中的应用。

什么是全连接层？

全连接层（Fully Connected Layer），也称为密集连接层（Dense Layer），是深度学习神经网络中的一种基本层类型。全连接层的每个神经元都与前一层的所有神经元相连接，每个连接都有一个权重用于调节信息传递的强度，并且每个神经元还有一个偏置项。

哪里会用到全连接层

全连接层通常出现在卷积神经网络（CNN）或多层感知器（MLP）等网络结构的末尾。它负责将前面层中提取到的特征映射转换为最终的输出。在分类任务中，全连接层的输出通常与类别数量相对应，用于输出每个类别的概率分布或类别得分。

全连接层的作用包括：

• 特征整合：将前面层提取到的特征整合到最终的表示中，以便进行分类、回归或其他任务。
• 非线性映射：全连接层通常会在特征整合后应用非线性激活函数，如ReLU、sigmoid或tanh，以增加网络的表达能力。
• 参数调节：全连接层的权重和偏置项是可以学习的参数，通过反向传播算法进行优化，以使网络能够更好地拟合训练数据。
• 输出预测：在分类任务中，全连接层的输出用于预测输入属于各个类别的概率分布，或者直接输出类别得分。

全连接层的引入使得神经网络能够对前面层提取到的特征进行更复杂的整合和转换，从而提高了模型的表达能力和性能。

示例代码

import numpy as np

class FullyConnectedLayer:
    def __init__(self, input_size, output_size):
        self.input_size = input_size
        self.output_size = output_size
        # 随机初始化权重和偏置
        self.weights = np.random.randn(input_size, output_size)
        self.biases = np.random.randn(output_size)
    
    def forward(self, input_data):
        # 计算全连接层的前向传播
        return np.dot(input_data, self.weights) + self.biases

# 测试全连接层
if __name__ == "__main__":
    # 创建输入数据
    input_data = np.random.randn(2, 3)  # 输入大小为2，样本数为3
    # 创建全连接层对象，输入大小为3，输出大小为4
    fc_layer = FullyConnectedLayer(input_size=3, output_size=4)
    # 进行前向传播
    output_data = fc_layer.forward(input_data)
    # 输出全连接层的输出
    print("全连接层的输出：")
    print(output_data)

Dropout 层的作用

Dropout 层可以在全连接层中起到正则化的作用,从而优化全连接层的性能。全连接层的参数量较大,容易产生过拟合现象,而 Dropout 层通过随机失活部分神经元的输出,减少神经元之间的相关性,降低模型对于某些特定神经元的依赖性,提高模型的泛化能力,减少过拟合风险。如图所示,是在全连接层网络中加入了 Dropout 层之后的效果。

示例代码

import numpy as np

class DropoutLayer:
    def __init__(self, dropout_rate):
        self.dropout_rate = dropout_rate
        self.mask = None
    
    def forward(self, input_data, training=True):
        if training:
            # 训练模式下，生成 dropout 掩码
            self.mask = (np.random.rand(*input_data.shape) >= self.dropout_rate) / (1.0 - self.dropout_rate)
            # 应用 dropout 掩码
            output_data = input_data * self.mask
        else:
            # 测试模式下，不应用 dropout，直接返回输入数据
            output_data = input_data
        return output_data

# 测试 Dropout 层
if __name__ == "__main__":
    # 创建输入数据
    input_data = np.random.randn(2, 3)  # 输入大小为2，样本数为3
    # 创建 Dropout 层对象，设置 dropout 比率为0.2
    dropout_layer = DropoutLayer(dropout_rate=0.2)
    # 进行前向传播，训练模式
    output_data_train = dropout_layer.forward(input_data, training=True)
    # 进行前向传播，测试模式
    output_data_test = dropout_layer.forward(input_data, training=False)
    # 输出结果
    print("训练模式下的输出：")
    print(output_data_train)
    print("\n测试模式下的输出：")
    print(output_data_test)