证明：特征值表示数据在对应特征向量方向上的方差且特征向量表示数据的主要方向

证明：特征值表示数据在对应特征向量方向上的方差且特征向量表示数据的主要方向

引用

CSDN

1.

https://m.blog.csdn.net/m0_53605808/article/details/144985373

协方差矩阵是机器学习和数据科学中的重要概念，其特征值和特征向量具有重要的统计意义。本文将证明协方差矩阵的特征值表示数据在对应特征向量方向上的方差，以及特征向量表示数据的主要方向。

协方差矩阵的定义

对于一个 n-维随机向量

，其协方差矩阵 Σ 定义为：
其中：

• μ = E[X] 是 X 的期望；
• Σ 是一个对称正定矩阵，大小为 n×n 。
  协方差矩阵中的元素
  表示
  和
  之间的协方差：
• 当 i = j 时，
  表示方差；
• 当 i ≠ j 时，
  表示特征
  和
  的线性相关性。

协方差矩阵的特征值和特征向量

协方差矩阵的特征值 λ 和特征向量 v 满足：
Σv = λv
其中：

• v 是协方差矩阵的特征向量；
• λ 是对应的特征值。
  以下证明协方差矩阵的特征值和特征向量具有的两大性质。

性质 1：特征值表示数据在对应特征向量方向上的方差

（1）任意方向上的方差
对于数据 X ，任意方向 v 上的数据投影为：
数据在该方向上的方差为：
根据协方差的性质，方差可以写为：
（2）最大化方差
我们希望找到一个方向 v ，使得方差 Var(Y) 最大化：
这是一个典型的特征值分解问题。优化问题的解为协方差矩阵的特征向量 v ，最大方差为对应的特征值 λ 。
因此，协方差矩阵的特征值 λ 表示数据在对应特征向量方向 v 上的方差。

性质 2：特征向量表示数据的主要方向

（1）主要方向定义
主成分分析（PCA）的目标是找到数据分布变化最大的方向，也就是数据的“主要方向”。这一方向对应于协方差矩阵的第一主成分，其特征向量是：
（2）正交性质
协方差矩阵是对称的，特征向量具有正交性。因此，所有特征向量构成的方向是彼此独立的，可以用来描述数据的不同变化方向。

• 第一特征向量：对应最大的特征值，表示数据分布方差最大的方向。
• 第二特征向量：对应第二大特征值，表示次大的数据变化方向。
• 依此类推：特征向量按特征值大小排序，逐步描述数据的重要方向。

总结

• 特征值：协方差矩阵的特征值表示数据在对应特征向量方向上的方差大小。
• 特征向量：协方差矩阵的特征向量表示数据的主要变化方向，且这些方向彼此正交。