线性代数之QR分解和SVD分解

创作时间:

作者:

@小白创作中心

线性代数之QR分解和SVD分解

引用

CSDN

https://blog.csdn.net/qq_44924694/article/details/141690038

QR分解和SVD分解是线性代数中的重要概念，在机器学习、数据科学等领域有着广泛的应用。本文将详细介绍这两种分解方法的基本原理、具体算法及其应用场景。

1. QR分解

矩阵的正交分解又称为QR分解，是将矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积的形式。任意实数方阵A，都能被分解为A = QR的形式，其中Q为正交单位阵，R是一个上三角矩阵。这种分解被称为QR分解。

QR分解有多种算法，常见的包括Gram-Schmidt、Householder和Givens算法。用一张图可以形象地表示QR分解：

Schmidt正交化

定理1
设A是n阶实非奇异矩阵,则存在正交矩阵Q和实非奇异上三角矩阵R使A有QR分解;且除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外,分解是唯一的.

定理2
设A是m×n实矩阵,且其n个列向量线性无关,则A有分解A=QR,其中Q是m×n实矩阵,且满足QHTQ=E,R是n阶实非奇异上三角矩阵该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外是唯一的.用Schmidt正交化分解方法对矩阵进行QR分解时，所论矩阵必须是列满秩矩阵。

用施密特正交计算方法如下：

Householder变换

Householder法QR分解例子：

QR分解的应用

QR 分解经常用来解线性最小二乘法问题。

2. 求矩阵特征值、特征向量的基本方法

由于SVD分解会涉及到矩阵特征值和特征向量的求解，因此有必要简单介绍下矩阵特征值的求解方法。

3. SVD分解

奇异矩阵是指行列式值为零的方阵，它具有以下特点：

非满秩：矩阵的秩小于其阶数，意味着行向量或列向量线性相关。
不可逆：没有逆矩阵，因为逆运算要求行列式不为零。
零空间非空：存在非零向量与之相乘结果为零向量。
与线性方程组求解相关：如果系数矩阵奇异，方程组可能无解或有无穷多解。

非奇异矩阵的对比：非奇异矩阵（可逆矩阵）行列式不为零，满秩，有唯一逆矩阵和零解。

矩阵的特征值和奇异值是线性代数中重要的概念，它们之间存在一定的关系。对于一个方阵，其特征值是该矩阵在空间中的特殊向量方向上的缩放因子。特征值可以通过解矩阵的特征值问题得到，即找到满足方程 Ax = λx 的非零向量 x 和标量 λ。

而对于一个非方阵的矩阵，它的奇异值则是矩阵的秩和特征向量的相对缩放因子。奇异值分解（SVD）可以将矩阵分解为三个部分：U、Σ 和 V^T，其中 U 和 V 是正交矩阵，Σ 是一个对角矩阵，对角线上的元素就是矩阵的奇异值。

有以下关系：

对于一个方阵，其特征值等于其奇异值。
对于一个非方阵的矩阵，其奇异值是其特征值的平方根。

需要注意的是，特征值和奇异值所描述的信息不完全相同，特征值更多地描述了矩阵在特定方向上的缩放，而奇异值则更多地描述了矩阵整体的缩放和旋转。它们在不同的应用领域和问题中有着不同的用途和解释。

例题分析：

SVD分解的应用

降维
通过上面的式子很容易看出，原来矩阵AA的特征有nn维。而经过SVD分解之后，完全可以用前rr个非零奇异值对应的奇异向量表示矩阵AA的主要特征。这样，就天然起到了降维的作用。
压缩
还是看上面的式子，再结合第三部分的图，也很容易看出，经过SVD分解以后，要表示原来的大矩阵AA，我们只需要存U，Σ，V三个较小的矩阵的即可。而这三个较小矩阵的规模，加起来也远远小于原有矩阵AA。这样，就天然起到了压缩的作用。