神经网络算法 - 一文搞懂 Softmax 函数
神经网络算法 - 一文搞懂 Softmax 函数
Softmax函数是神经网络中常用的激活函数之一，主要用于多分类问题的输出层。本文将从Softmax函数的本质、原理及其在不同神经网络架构中的应用三个方面，帮助读者全面理解Softmax函数。
Softmax函数的本质
Softmax函数一般作为神经网络的最后一层，用于多分类问题的输出。其本质是一种激活函数，能够将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。
Softmax函数的原理
分类问题
在机器学习领域，分类问题通常属于监督式学习。根据类别的数量，分类问题可分为二分类和多分类：
- 二分类（Binary classification）：表示分类任务中有两个类别。常见的算法包括逻辑回归、支持向量机等。
- 多分类（Multi-class classification）：表示分类任务中有多个类别。常见的算法包括决策树、随机森林等。
激活函数
激活函数是添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。类似于人类大脑中基于神经元的模型，激活函数最终决定了是否传递信号以及要发射给下一个神经元的内容。
对于二分类问题，Sigmoid是一个常用的激活函数，它将任意实数映射到(0, 1)区间，这个区间内的数值可以自然地解释为概率。
对于多分类问题，Softmax则是一个非常重要的工具。它可以将一个向量转换为一组概率值，这些概率值的总和为1。
Softmax的数学原理
Softmax函数的数学原理是：对于一个给定的实数向量，它首先计算每一个元素的指数（e的幂），然后每个元素的指数与所有元素指数总和的比值，就形成了softmax函数的输出。这种计算方式不仅使输出值落在0到1之间，还保证了所有输出值的总和为1。
Softmax函数的应用
在卷积神经网络（CNN）中的应用
在卷积神经网络中，Softmax层通常作为最后一层，用于将卷积神经网络输出的特征图转换为概率分布。
在Transformer中的应用
在Transformer架构中，Softmax用于将原始注意力分数转换为输入标记的概率分布。这种分布将较高的注意力权重分配给更相关的标记，并将较低的权重分配给不太相关的标记。Transformers通过Softmax在生成输出时，使用注意力机制来权衡不同输入标记的重要性。