从协方差到协方差矩阵，再到特征向量和特征值
从协方差到协方差矩阵，再到特征向量和特征值
协方差、协方差矩阵以及特征值和特征向量是统计学和机器学习中的重要概念。本文将从协方差的基本概念出发，逐步深入到协方差矩阵，最后介绍特征值和特征向量的定义及其在数学变换中的作用。
通俗易懂理解协方差
协方差，可以通俗易懂理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？
你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。
你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。
从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。
咱们从公式出发来理解一下:
公式简单翻译一下是:如果有x,Y两个变量,每个时刻的"X值与其均值之差"剩以Y值与其均值之差"得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求"期望" ,但就不引申太多新概念了,简单认为就是求均值了)。
方差和协方差的定义
在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，方差的计算公式为:
在此基础上，协方差的计算公式被定义为：
从方差/协方差到协方差矩阵
特征值和特征向量
定义：
从数学上看，如果向量v与变换A满足
Av=λv
则称向量v是变换A的一个特征向量，λ是相应的特征值。这一等式被称作“特征值方程”。
意思：一个矩阵,左乘一个向量等于一个常数乘这个向量
满足这个条件，v被称为矩阵A的特征向量，λ是A的特征值
举例：
所以(111)为A 的特征向量，3为特征值
特征值和特征向量的作用
特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么
特征值分解是将一个矩阵分解成下面的形式：
其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
比如说下面的一个矩阵M：
矩阵M，它其实对应的线性变换是下面的形式：
因为这个矩阵M乘以一个向量(x,y)的结果是：
上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短）
当矩阵不是对称的时候，假如说矩阵是下面的样子：
它所描述的变换是下面的样子：
这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）
当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。
参考链接：
https://www.zhihu.com/question/20852004
https://zhuanlan.zhihu.com/p/37609917
https://jingyan.baidu.com/article/3065b3b68c6bb6becff8a488.html