深度学习基础：线性代数本质6——逆矩阵、列空间与零向量
深度学习基础：线性代数本质6——逆矩阵、列空间与零向量
线性代数是深度学习的基础，其中的逆矩阵、列空间与零向量等概念尤为重要。本文将通过直观的线性变换视角，重新解读这些核心概念，帮助读者建立更深刻的理解。
矩阵的用途
矩阵在多个领域都有广泛应用，主要体现在两个方面：
- 描绘空间操控：在计算机图形学中，矩阵可以用来描述对空间的操控，这对于图形渲染和变换至关重要。
- 求解方程组：矩阵可以帮助我们求解特定的方程组，这是其在科学计算和工程领域广泛应用的主要原因。
利用矩阵求解方程组
考虑一个线性方程组 (Ax = v)，其中矩阵 (A) 代表一个线性变换。我们的目标是找到一个向量 (x)，使得经过变换后与 (v) 重合。
1. 矩阵行列式不为零的情况
当矩阵 (A) 的行列式不为零时，空间并未被挤压为零面积。在这种情况下，有且仅有一个向量（变换后）与 (v) 重合，并且可以通过逆向变换找到这个向量。记为 (A^{-1})，即：
[A^{-1}A = I]
其中 (I) 是恒等变换矩阵，保持 (i) 和 (j) 不变，其列为 ((1,0)) 和 ((0,1))。一旦找到了 (A^{-1})，就能通过两遍同乘 (A) 的逆矩阵来求解向量方程：
[x = A^{-1}v]
此时 (x) 是唯一解。
2. 矩阵行列式为零的情况
当矩阵 (A) 的行列式为零时，变换将空间压缩到更低的维度上。此时不存在逆变换：不可以将低纬度空间拉伸到一个特定的高维空间 (类似不可以将一条线"解压缩"为一个平面)。
但即便不存在逆变换，解仍可能存在：（二维空间）一个变换将空间压缩到一条直线上。如果 (v) 恰好在这个直线上时，有解；如果 (v) 不在这个直线上，则无解。
秩（Rank）
秩代表变换后空间的维数。例如：
- 当变换后向量在一条直线上—— 结果为一维的：称这个变换的秩为1
- 当变换后向量在一个平面上—— 结果为二维的：称这个变换的秩为2
对于一个 (2 \times 2) 的矩阵，其秩最大为2。当秩数小于向量的维数，那么可以说它在变换后被压缩了。如果变换后的向量在一条直线上，那么我们称这个变换为的秩为1，如果变换后的向量在一个平面上，那么我们称这个变换为秩为2。
列空间（Column Space）
不管是一条直线，一个平面还是三维空间等，所有可能的变换结果的集合被称为”列空间“。列空间就是矩阵的列所张成的空间。
所以更精确秩的定义就是列空间的维数。当秩达到最大时，意味着秩与列数相等（也称为满秩）。
ps:零向量一定包含在列空间中，因为线性变化必须保持原点位置不变，对于一个满秩变换来说，唯一能在变换后落在原点的就是零向量本身。对于非满秩变换，在变换后可能会有一些里点落在原点中。
零空间（Null Space）
变换后的向量落在零向量上的向量的集合被称为矩阵的"零空间"(Null space)或"核"(Kernel)。零空间就是这些向量所构成的空间。
- 对于满秩(Full rank)变换来说，唯一能在变换后落在原点的就是零向量本身
- 对于非满秩的变换，空间被压缩到一个更低的维度上，也就是说：会有一系列向量在变换后成为零向量：
- 如果一个二维线性变换将空间压缩到一条线，那么沿着某个不同方向直线上的所有向量被压缩到原点
- 如果一个三维线性变换将空间压缩到一个平面，会有一整条线上的向量在变换后落在原点
- 如果一个三位线性变换将空间压缩到一条直线，有一整个平面上的向量在变换后落在原点
这个现象可以用来解释为什么系数矩阵满秩的齐次方程只有0解，而不满秩的其次方程有一个基础解系：
- 满秩时：变换后的空间维数不变，则唯一能在变换后落在原点的就是零向量本身，即只有0解
- 不满秩时：变换后的空间维度减小，会有一系列向量在变换后成为零向量，即有一个基础解析
总结
从几何角度求解线性方程组：从逆矩阵，列空间，零空间
线性方程组：
对应一个线性变换
1. 如果该变换有逆变换
可以使用这个逆变换进行求解方程组
2. 如果逆变换不存在
- 列空间的概念让我们清楚什么时候存在解
- 一个变换将空间压缩到一条直线上，v如果恰好在这个直线上时，有解；
- 如果v不在这个直线上，则无解