线性代数：对称矩阵与正交对角化
线性代数：对称矩阵与正交对角化
线性代数是机器学习和数据科学领域的基础，其中对称矩阵和正交对角化是两个非常重要的概念。本文将详细介绍对称矩阵的性质以及如何通过正交对角化来简化矩阵运算，帮助读者深入理解这些核心概念。
对称矩阵
对称矩阵是指矩阵上的所有元素关于主对角线对称，满足 A = A^T。例如：
I = \begin{bmatrix} 1&0 \ 0&1\end{bmatrix} \ \ \ \ \ \ \ \ \ \ A= \begin{bmatrix} 1&-1&\sqrt {5} \ -1&2&\pi \ \sqrt {5}&pi&3 \end{bmatrix}
对称矩阵的重要性质
- 对于对称矩阵来说，其特征值一定是实数；
- 尽管对称矩阵也会存在多重特征值，但是其对应的特征空间（所有的特征向量生成矩阵的特征空间）的维度一定等于重数；
- 一个n阶的对称矩阵一定具有n个线性无关的特征向量；
- 从而对称矩阵一定可以被对角化A = PDP^{-1}。
正交对角化
我们在选择参考坐标系的时候，通常更愿意使用基于正交基生成的坐标系，更方便理解和使用。
而对称矩阵的所有不同特征值对应的特征向量就具有互相垂直的特点，从而能够在对角化分解后得到一个代表正交坐标系的P矩阵。
假设矩阵A的两个特征向量\vec v_1 ，\vec v_2对应不同的特征值\lambda_1 , \lambda_2；
则可证: \vec v_1 \vec v_2 =0
, , , , , , ,\because \lambda_1 \vec v_1 \vec v_2 = (\lambda_1 \vec v_1)^{T} \vec v_2= (A \vec v_1)^{T} \vec v_2 = \vec v_1^{T}A^{T} \vec v_2
, , , , , , ,\because A是对称矩阵，A^T = A，\vec v_1^{T}A^{T} \vec v_2 = \vec v_1^{T}A \vec v_2 = \vec v_1^{T}\lambda_2 \vec v_2 = \lambda_2\vec v_1^{T} \vec v_2
, , , , , , ,\therefore \lambda_1\vec v_1 \vec v_2=\lambda_2\vec v_1^{T} \vec v_2 = \lambda_2\vec v_1 \vec v_2
, , , , , , ,\therefore (\lambda_1 - \lambda_2)(\vec v_1\vec v_2) = 0
, , , , , , ,\because \lambda_1 \neq \lambda_2
, , , , , , ,\therefore \vec v_1\vec v_2 = 0
而对于对称矩阵的相同特征值情况，也一定可以在它的特征空间内找到互相垂直的特征向量，从而构成正交的P矩阵。
在将矩阵进行对角化的过程A = PDP^{-1}中，矩阵P的作用仅代表一个坐标系，在P坐标系下观察A变换具有D的表现形式，而对于一个坐标系，我们仅关注生成空间的基向量的方向，所以可以将其替换成一个标准坐标系，也即将基向量的模变为1(向量标准化)，这样就可以得到一个标准正交矩阵Q。标准正交矩阵Q具有Q^T = Q^{-1}的性质。
从而对矩阵A的正交对角化可表示为：
A = QDQ^{-1} = QDQ^{T}
如果一个矩阵A可以被正交对角化，
就有A = QDQ^{T}，
而A^T = (QDQ^{T})^{T} = (Q^T)^{T}D^TQ^T = Q D Q^T = A;
从而A是对称矩阵⇔A可以被正交对角化A = QDQ^{T}【谱定理】