线性代数中的投影理论与应用

线性代数中的投影理论与应用

引用

CSDN

1.

https://blog.csdn.net/bdn_nbd/article/details/136547822

在线性代数中，投影是一个重要的概念，它可以帮助我们解决方程组无解的问题。本文将从一维空间投影开始，详细推导投影矩阵的公式，并解释为什么需要进行投影。此外，我们还将讨论投影矩阵的性质，如对称性和幂等性。

一维空间投影

设向量 $B$ 在向量 $A$ 上的投影为 $p$，则有：

$$
p = X A
$$

其中 $X$ 是一个标量。由于 $e = B - p$ 垂直于 $A$，因此有：

$$
A^{\top}e = 0
$$

将 $e = B - XA$ 代入上式，得到：

$$
A^{\top}(B - XA) = 0
$$

化简得到：

$$
XA^{\top}A = A^{\top}B
$$

因此：

$$
X = \frac{A^{\top}B}{A^{\top}A}
$$

从而：

$$
p = XA = A\frac{A^{\top}B}{A^{\top}A}
$$

这相当于在 $B$ 上作用了一个投影矩阵 $P$：

$$
p = PB = \frac{AA^{\top}}{A^{\top}A}B
$$

投影矩阵 $P$ 的性质：

• 列空间：$C(p) = C(A)$，即通过 $A$ 的直线
• 秩：$rank(p) = 1$
• 对称性：$P^{\top} = P$
• 幂等性：$P^2 = P$

为什么要投影？

对于方程 $AX = b$，如果 $b$ 不在 $A$ 的列空间上，那么方程就没有解。这时我们可以把 $b$ 投影到 $A$ 的列空间上来得到这个最可能的解。

设 $\hat{X}$ 是 $X$ 的估计值，$p$ 是 $b$ 在 $A$ 的列空间上的投影，则有：

$$
A\hat{X} = p
$$

其中 $A = [a_1\ a_2]$，$e = b - p$ 垂直于 $A$，即 $e \perp A$。因此有：

$$
a_1^{\top}(b-A\hat{X})=0\
a_2^{\top}(b-A\hat{X})=0
$$

写成矩阵形式：

$$
\begin{bmatrix}
a_1^{\top}\
a_2^{\top}\
\end{bmatrix} (b-A\hat{X})=0
$$

等价于：

$$
A^{\top}(b-A\hat{X})=0
$$

因此：

$$
\hat{X}=(A^{\top}A)^{-1}A^{\top}b
$$

从而：

$$
p=A(A^{\top}A)^{-1}A^{\top}b
$$

投影矩阵：

$$
P = A(A^{\top}A)^{-1}A^{\top}
$$

投影矩阵的性质：

• 对称性：$P^{\top} = P$

证明：

$$
P^{\top}=(A^{\top})^{\top}((A^{\top}A)^{-1})^{\top}A^{\top}
$$

由于 $(A^{\top}A)^{-1}$ 是对称矩阵，因此：

$$
((A^{\top}A)^{-1})^{\top} = ((A^{\top}A)^{\top})^{-1} = (A^{\top}A)^{-1}
$$

因此：

$$
P^{\top}=A(A^{\top}A)^{-1}A^{\top}
$$

• 幂等性：$P^n = P$

证明：

$$
PP=A(A^{\top}A)^{-1}A^{\top}A(A^{\top}A)^{-1}A^{\top}=A(A^{\top}A)^{-1}{A^{\top}A(A^{\top}A)^{-1}}A^{\top}=A(A^{\top}A)^{-1}A^{\top}
$$