线性代数：特征值与特征向量详解
线性代数：特征值与特征向量详解
特征值和特征向量是线性代数中的重要概念，它们揭示了矩阵变换的本质特征。本文将从矩阵变换的角度出发，深入浅出地介绍特征值和特征向量的定义、求解方法及其在矩阵变换中的意义。
特征值和特征向量的直观理解
对于一个变换矩阵
$$
A = \begin{bmatrix} 4 & -2 \ 1 & 1 \end{bmatrix}
$$
当左乘一个向量 $\vec{u}$ 时，$A \cdot \vec{u} = \vec{u}'$ 表示把向量从一个位置转换到空间的另一个位置。在这个变换过程中，存在一些特殊的向量，如对于变换矩阵
$$
A = \begin{bmatrix} 4 & -2 \ 1 & 1 \end{bmatrix}
$$
所代表的变换，存在向量 $\vec{u} = (2, 2)$，该向量在矩阵 $A$ 的变换下
$$
A \cdot \vec{u} = \vec{u}' = (4, 4)
$$
$\vec{u}'$ 与变换前的 $\vec{u}$ 相比，方向上未发生改变，仅仅只是对原向量 $\vec{u}$ 进行了缩放 $\vec{u}' = 2\vec{u}$。
特征值和特征向量的定义
对于在矩阵 $A$ 的变换下，向量变换后得到的结果向量方向并没有发生改变，只是原来向量的某一个常数 $k$ 倍，即
$$
A \cdot \vec{u} = \lambda \cdot \vec{u}
$$
式中，$A$ 是转换矩阵，$\vec{u}$ 是被转换向量，$\lambda$ 是常数（可以取负数）。当常数 $\lambda$ 取负数的时候，意味着变换前后的两个向量方向相反，但是它们还是共线向量，也可以称为同向向量。
对于满足关系式 $A \cdot \vec{u} = \lambda \cdot \vec{u}$ 的 $\lambda$ 和 $\vec{u}$ 则称:
- $\lambda$ 称为矩阵 $A$ 的特征值（eigenvalue）
- $\vec{u}$ 称为矩阵 $A$ 对应于 $\lambda$ 的特征向量（eigenvector）
求解特征值和特征向量
假设变换矩阵为
$$
A = \begin{bmatrix} 4 & -2 \ 1 & 1 \end{bmatrix}
$$
求解变换矩阵 $A$ 的特征值和特征向量 即求解方程 $A\vec{u} = \lambda\vec{u}$，这个方程涉及两个未知量 $\vec{u}$ 和 $\lambda$:
- 首先，如果 $\vec{u} = \vec{0}$，即 $\vec{u}$ 是一个零向量，则一定满足方程，这个零解是一个平凡解，意味着不管矩阵 $A$ 如何变化，$\vec{u} = \vec{0}$ 永远是方程 $A\vec{u} = \lambda\vec{u}$，所以特征向量的零解没有意义，求解特征向量不考虑零向量。
- 而对于求解的特征值，如果求解出一个 $\lambda = 0$，这个解不是一个平凡解，$\lambda = 0$ 意味着方程 $A\vec{u} = 0$ 是一个齐次线性系统，对于一个齐次线性系统只可能有唯一零解或无穷解，因为 $\vec{u}$ 不能取零向量，所以 $A\vec{u} = 0$ 一定有无穷解，那么意味着特征值 $\lambda = 0$ 反映出变换矩阵 $A$ 一定不可逆的特征（矩阵 $A$ 可逆则 $A\vec{u} = 0$ 只有唯一零解），并不是任何一个矩阵都存在特征值 $\lambda = 0$。
进一步的解方程 $A\vec{u} = \lambda\vec{u}$
$$
A\vec{u} = \lambda\vec{u} \to A\vec{u} - \lambda\vec{u} = 0
$$
这里涉及矩阵与常数的减法，引入单位矩阵 $I$ 处理
$$
A\vec{u} \cdot I = \lambda\vec{u} \cdot I
$$
$$
A\vec{u} - \lambda I\vec{u} = 0
$$
变形得到
$$
(A - \lambda I) \cdot \vec{u} = 0
$$
step.1 变换矩阵 $A$ 的特征方程，解特征值
对于线性系统 $(A - \lambda I) \cdot \vec{u} = 0$，我们希望最后求解的特征向量 $\vec{u}$ 有非零解，因为零解是一个平凡解，无意义。因此对于系数矩阵 $(A - \lambda I)$ 要求是一个不可逆矩阵，矩阵可逆，意味着该系统只有唯一零解。根据行列式的内容可知如果矩阵不可逆意味着它的行列式的值为 0，所以，转而求解
$$
\det(A - \lambda I) = 0
$$
这个方程只含有一个未知量 $\lambda$，称为变换矩阵 $A$ 的特征方程：
示例:
$$
\det(A - \lambda I) = \begin{vmatrix} 4-\lambda & -2 \ 1 & 1-\lambda \end{vmatrix} = (4-\lambda)(1-\lambda) -(1\times-2) = \lambda^{2} -5\lambda +6
$$
$$
\det(A - \lambda I) = \lambda^{2} -5\lambda +6 = 0
$$
解得 $\lambda_1 = 2, \lambda_2 = 3$
step.2 解特征向量
求出了矩阵的特征值，就可以代入 $\lambda$ 到线性系统 $(A - \lambda I) \cdot \vec{u} = 0$ 进一步求解出特征向量 $\vec{u}$：
① 当 $\lambda_1 = 2$
代入线性系统可得 $(A - 2I) \cdot \vec{u} = 0$，求解这个线性系统的非零解
系数矩阵为
$$
(A - 2I) = \begin{bmatrix} 4-2 & -2 \ 1 & 1-2 \end{bmatrix}
$$
执行高斯消元化为一般行最简形式
方程变为
$$
\begin{bmatrix} 1 & -1 \ 0 & 0 \end{bmatrix} \cdot \vec{u} = 0
$$
根据零空间的知识，这个方程的解 $\vec{u}$ 其实就是矩阵 $(A - 2I)$ 的零空间的内的向量，
由系数矩阵 $(A - 2I)$ 的行最简形式
$$
\begin{bmatrix} 1 & -1 \ 0 & 0 \end{bmatrix}
$$
可知自由列有一列，那么它的零空间的基就只有一个可以写成
$$
\vec{p} = \begin{bmatrix} 1 \ 1 \end{bmatrix}
$$
所以方程的解，也即变换矩阵 $A$ 的特征向量 $\vec{u}$ 就可以表示为
$$
\vec{u} = \begin{bmatrix} 1 \ 1 \end{bmatrix} \cdot k
$$
$k$ 可以取任意非零常数
② 当 $\lambda_2 = 3$
计算步骤同①
系数矩阵高斯消元化为行最简形式，方程变为
$$
\begin{bmatrix} 1 & -2 \ 0 & 0 \end{bmatrix} \cdot \vec{u} = 0
$$
可解的系数矩阵 $(A - 3I)$ 的零空间的基为
$$
\vec{p} = \begin{bmatrix} 2 \ 1 \end{bmatrix}
$$
变化矩阵 $A$ 对应与 $\lambda_2$ 的特征向量表示
$$
\vec{u} = \begin{bmatrix} 2 \ 1 \end{bmatrix} \cdot k
$$
$k$ 可以取任意非零常数。