什么是方差、协方差和协方差矩阵

什么是方差、协方差和协方差矩阵

方差、协方差和协方差矩阵是统计学中的重要概念，在机器学习领域有着广泛的应用。本文将从基本定义出发，通过具体的数学公式和实例，逐步深入地解释这些概念，并说明它们在实际问题中的应用。

方差

方差描述了一组随机变量的离散程度。它等于每个样本值和全部样本的平均值差的平方和，再求平均数，记作var。

如果有m个样本，每个样本都有一个特征值x，m个样本的平均值是μ，那么x的方差等于m分之西格玛xi-μ的平方。

例如，计算数字1到5的方差：

首先计算出平均值3，然后计算这些数字和平均值差的平方和，再除以5，得到方差是2。

很多时候，为了后续计算的方便，会对样本进行去中心化的处理：将全部样本按照平均值进行平移后，可以得到方差x，它等于m分之西格玛xi的平方。

例如，1到5，每个数字都向负方向移动3个单位，得到-2、-1、0、1、2：

计算它们的方差，结果仍然是2。

协方差

协方差描述了不同特征之间的相关情况：

设样本有两个特征a和b，训练集中一共有m个样本。a和b之间的协方差记作cov(a, b)：

它等于m个样本的特征a减均值μa，乘以，特征b减均值μb，将它们的乘积累加到一起，再除以m-1。

例如，在平面上设置(1, 1)、(2, 2)等等(5, 5)，这5个样本：

每个样本有a和b两个特征，a的平均值是μa，b的平均值是μb，它们都等于3。从整体上来说，当a大于平均值μa时，b也大于平均值μb，或者a小于μa，b也同时小于μb：

这时计算出a和b的协方差就是正的，这说明a和b的变化趋势相同，a和b是正相关的：换句话说，就是a变大的时候，b也变大，a变小时，b也变小。

如果有(1, -1)、(2, -2)等等到(5, -5)，这5个样本：

我们会发现，a小于μa时，b大于μb，而a大于μa时，b小于μb。此时计算a和b的协方差就是负的：这说明a和b的变化趋势不同，a和b是负相关的。也就是说，a变大的时候，b变小，a变小时，b变大。

如果样本整体的协方差刚好等于0，那么就说明a和b不相关。例如，有(2，2)、(2, 4)、(3，3)等5个样本：

根据公式，计算a和b的协方差刚好等于0：

从图中也可以看出，a和b的分布没有规律。

为了更方便的计算协方差，我们同样可以将数据进行去中心化：

总结来说，协方差表示了不同特征之间的相关情况：两个特征之间的协方差大于0，则正相关，小于0，负相关，等于0，不相关。

协方差矩阵

最后来看协方差矩阵：

其中，对角线上的元素，是各个随机变量的方差。非对角线上的元素为两两随机变量之间的协方差。协方差矩阵是一个对称矩阵。

例如，矩阵C1是a和b两个特征的协方差矩阵：

矩阵C2是x、y、z三个特征的协方差矩阵：

而矩阵C3是x1到xn，n个特征的协方差矩阵：

在计算协方差矩阵时，需要将m个样本的特征按照列向量的方式，保存到矩阵中：

然后计算矩阵和矩阵转置的乘积，得到协方差矩阵：

例如，m个样本，每个样本有a和b两个特征。将这些样本按照列向量的方式，保存到矩阵X中：

计算m个样本的协方差矩阵，它等于X乘以X的转置，再除以m，它是一个2*2的矩阵：