线性代数：标准正交矩阵Q
线性代数：标准正交矩阵Q
标准正交矩阵Q是线性代数中的一个重要概念，在机器学习和数据科学领域有着广泛的应用。本文将从矩阵的空间视角出发，深入探讨标准正交矩阵的定义、性质及其在PCA算法中的应用。
回顾之前学习过矩阵的空间视角，也就是把空间的一组基的向量按列排列构成矩阵的列向量，这个空间也就等价于矩阵的列空间，这样的矩阵乘以一个点坐标代表着把矩阵的列空间内的一个点的位置转化为在标准的欧几里得空间中进行展示:
因此，对于一个n维空间的一组标准正交基$\vec p_1,\vec p_2,\vec p_3,\cdots ,\vec p_n$，也可按列进行排列
$$
\left( \begin{array}{c}
,,,| ,,,,,,,,, | ,,,,,,,,, |,,,,,, \cdots ,,,, | ,,,,,, \
\vec{p}_1, \ \vec{p}_2, \ \vec{p}_3, \ \cdots, \ \vec{p}_n \
,,,| ,,,,,,,,, | ,,,,,,,,, |,,,,,, \cdots ,,,, | ,,,,,, \
\end{array} \right)
$$
构造成矩阵，这种由空间标准基向量按列排列构成的一个n阶方阵称为标准正交矩阵Q。
标准正交矩阵Q的重要性质
标准正交矩阵的转置乘以它自身将得到单位矩阵I，即
$$
Q^T \cdot Q = I
$$
证明
设
$$
Q=\left( \begin{array}{c}
,,,| ,,,,,,,,, | ,,,,,,,,, |,,,,,, \cdots ,,,, | ,,,,,, \
\vec p_1,\vec p_2,\vec p_3,\cdots ,\vec p_n \
,,,| ,,,,,,,,, | ,,,,,,,,, |,,,,,, \cdots ,,,, | ,,,,,, \
\end{array} \right)
$$
则
$$
Q^T= \left (\begin{array}{c}
\vec p_1 \
\vec p_2 \
\cdots \
\vec p_n
\end{array} \right )
$$
因此
$$
Q^T \cdot Q = \left (\begin{array}{c}
\vec p_1 \
\vec p_2 \
\cdots \
\vec p_n
\end{array} \right ) \times \left (\begin{array}{c}
\vec p_1 , \vec p_2 , \cdots , \vec p_n
\end{array} \right ) =
\begin{bmatrix}
\vec p_1\cdot \vec p_1 \ ,\vec p_1\cdot \vec p_2 \ ,\cdots ,\vec p_1\cdot \vec p_n \
\vec p_2\cdot \vec p_1 \ ,\vec p_2\cdot \vec p_2 \ ,\cdots ,\vec p_2\cdot \vec p_n \
\cdots \
\vec p_n\cdot \vec p_1 \ ,\vec p_n\cdot \vec p_2 \ ,\cdots ,\vec p_n\cdot \vec p_n
\end{bmatrix}
$$
由于标准正交矩阵内的向量$\vec p_1,\vec p_2,\vec p_3,\cdots ,\vec p_n$两两之间互相垂直，就有任取两向量点乘结果为零$\vec p_i \cdot \vec p_j = 0$
因此
$$
Q^T \cdot Q =
\begin{bmatrix}
\vec p_1\cdot \vec p_1 \ ,\vec p_1\cdot \vec p_2 \ ,\cdots ,\vec p_1\cdot \vec p_n \
\vec p_2\cdot \vec p_1 \ ,\vec p_2\cdot \vec p_2 \ ,\cdots ,\vec p_2\cdot \vec p_n \
\cdots \
\vec p_n\cdot \vec p_1 \ ,\vec p_n\cdot \vec p_2 \ ,\cdots ,\vec p_n\cdot \vec p_n
\end{bmatrix} = I
$$
联系矩阵的逆：当存在矩阵B与矩阵A相乘满足条件$A \times B = B \times A = I$，则称B是矩阵A的逆，记作：$B = A^{-1}$，也即$A \cdot A^{-1} = A^{-1} \cdot A = I$
因此对于$Q^T \cdot Q = I$，就满足$Q^T$是矩阵Q的左逆，同时也是Q的右逆，所以$Q^T$就是矩阵Q的逆
$$
Q^{-1} = Q^T
$$
- 在PCA算法中，将一个高维空间降成低维空间，反过来要将低维空间再转成高维空间的时候就要利用$Q^{-1} = Q^T$这条性质，因为PCA降维后描述低维空间的方式就是标准正交矩阵，通过低维空间的标准正交矩阵把高维空间映射到低维空间，如果要把低维空间映射回高维空间就需要用到低维空间的标准正交矩阵的逆，所以直接取低维空间的标准正交矩阵的转置就方便很多了。