一文搞懂什么是归一化，以及几种常用的归一化方法（超详细解读）

创作时间:

作者:

@小白创作中心

一文搞懂什么是归一化，以及几种常用的归一化方法（超详细解读）

引用

CSDN

https://blog.csdn.net/m0_71212744/article/details/140457695

在机器学习和数据处理领域，归一化是一种常用的数据预处理技术，它能够将数据缩放到一个特定的区间内，从而改善算法的收敛速度和性能。本文将详细介绍归一化的概念、作用以及几种常用的归一化方法，帮助读者全面理解这一重要技术。

一、什么是归一化？

归一化是数据预处理中的一种常用技术，旨在将数据按比例缩放，使之落入一个小的特定区间，通常是[0, 1]或[-1, 1]。这个过程对于许多机器学习算法来说是非常重要的，因为它可以帮助改善算法的收敛速度和性能，特别是在处理不同量纲或量级的特征时。

图1：未归一化（a）与归一化（b）后的梯度对比

二、归一化的作用

加速算法收敛：许多机器学习算法，特别是基于梯度的优化算法（如梯度下降），在特征处于相似尺度时表现更好。归一化通过将所有特征缩放到相同的尺度（如[0, 1]或[-1, 1]），可以减少不同特征之间的尺度差异，从而加速算法的收敛速度。
提高模型精度：对于某些算法，如K近邻算法（KNN）和神经网络，特征的尺度对模型的性能有显著影响。在KNN中，距离的计算对特征的尺度敏感，而神经网络中的权重更新也受到特征尺度的影响。归一化可以帮助这些算法更准确地捕捉特征之间的关系，从而提高模型的精度。
防止数值问题：在某些计算过程中，如使用梯度下降算法时，如果特征的尺度差异很大，可能会导致数值不稳定或梯度消失/爆炸的问题。归一化有助于避免这类数值问题。
提高算法稳定性：对于某些算法，如支持向量机（SVM），数据的尺度可能会对其性能产生较大影响。归一化可以提高算法的稳定性，使得算法对于不同的数据集或数据子集具有更一致的性能。

三、几种归一化方法

归一化是数据预处理中的一个重要步骤，它有助于将数据缩放到一个特定的区间内，通常是[0, 1]或[-1, 1]，以便于后续的数据分析和机器学习算法处理。以下是几种常见的归一化方法及其举例：

1. Min-Max归一化

描述：Min-Max归一化也称为线性归一化或最大最小规范化，它将数据缩放到[0, 1]区间内。这是最简单的归一化方法之一。

公式：
$$
X_{\text{normalized}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}}
$$
其中，$X$是原始数据，$X_{\text{min}}$和$X_{\text{max}}$分别是数据集中的最小值和最大值，$X_{\text{normalized}}$是归一化后的数据。

举例：假设有一个数据集 $[2.5, 3.5, 0.5, 1.5]$，其最小值为0.5，最大值为3.5。按照Min-Max归一化方法，归一化后的数据集为 $[0.6667, 1, 0, 0.3333]$。

2. Z-Score归一化（标准化）

描述：Z-Score归一化也称为零均值归一化或标准化，它将数据转换为均值为0、标准差为1的分布。这种方法适用于数据分布接近正态分布的情况。

公式：
$$
X_{\text{normalized}} = \frac{X - \mu}{\sigma}
$$
其中，$X$是原始数据，$\mu$是数据的均值，$\sigma$是数据的标准差，$X_{\text{normalized}}$是归一化后的数据。

举例：假设有一个数据集 $[1, 2, 3, 4, 5]$，其均值为3，标准差为$\sqrt{2}$。按照Z-Score归一化方法，归一化后的数据集为 $[-\sqrt{2}, -\frac{\sqrt{2}}{2}, 0, \frac{\sqrt{2}}{2}, \sqrt{2}]$。

3. 非线性归一化方法

除了上述线性归一化方法外，还有一些非线性归一化方法，如对数变换、平方根变换、指数变换等。这些方法通过非线性函数将数据映射到新的区间内，以改善数据的分布特性。

举例：

对数变换：对于偏态分布的数据，可以使用对数变换来压缩数据的范围并降低波动性。例如，对于数据集 $[1, 10, 100, 1000]$，可以取对数后得到 $[0, 1, 2, 3]$。
平方根变换：与对数变换类似，平方根变换也可以用于压缩数据的范围。例如，对于数据集 $[1, 4, 9, 16]$，取平方根后得到 $[1, 2, 3, 4]$。