【AI数学基础】线性代数：内积和范数

创作时间:

作者:

@小白创作中心

【AI数学基础】线性代数：内积和范数

引用

CSDN

https://m.blog.csdn.net/qq_30204431/article/details/144945647

本文主要面向AI领域的工科生，系统地介绍了线性代数中的内积和范数概念。从代数角度定义了内积，并详细描述了其性质。接着介绍了范数的定义及其重要性质，包括正定性、齐次性和三角不等式。文章还列举了常见的L1和L2范数，并解释了内积的几何意义。

2. 内积和范数

2.1 内积的定义

从代数的角度来说，内积是两个向量之间的一种运算，其结果是一个实数。

设由两个n维向量：

x = [ x 1 x 2 ⋯ x n ] , y = [ y 1 y 2 ⋯ y n ] \mathbf{x}=\left[\begin{array}{c} x_{1} \ x_{2} \ \cdots \ x_{n} \end{array}\right], \mathbf{y}=\left[\begin{array}{c} y_{1} \ y_{2} \ \cdots \ y_{n} \end{array}\right]x= x1 x2 ⋯xn ,y= y1 y2 ⋯yn

令x ⋅ y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \mathbf{x} \cdot \mathbf{y}=x_{1} y_{1}+x_{2} y_{2}+\cdots+x_{n} y_{n}x⋅y=x1 y1 +x2 y2 +⋯+xn yn ，x ⋅ y \mathbf{x} \cdot \mathbf{y}x⋅y为向量x \mathbf{x}x和向量y \mathbf{y}y的内积。

内积具有下列性质（其中x , y , z \mathbf{x},\mathbf{y},\mathbf{z}x,y,z为n维向量，λ \lambdaλ为实数）：

x ⋅ y = y ⋅ x \mathbf{x}\cdot\mathbf{y}=\mathbf{y}\cdot\mathbf{x}x⋅y=y⋅x；
( λ x ) ⋅ y = x ⋅ ( λ y ) (\lambda\mathbf{x})\cdot\mathbf{y}=\mathbf{x}\cdot(\lambda\mathbf{y})(λx)⋅y=x⋅(λy)；
( x + y ) ⋅ z = x ⋅ z + y ⋅ z (\mathbf{x}+\mathbf{y})\cdot\mathbf{z}=\mathbf{x}\cdot\mathbf{z}+\mathbf{y}\cdot\mathbf{z}(x+y)⋅z=x⋅z+y⋅z；
当x = 0 \mathbf{x}=\mathbf{0}x=0时，x ⋅ x = 0 \mathbf{x}\cdot\mathbf{x}=0x⋅x=0；当x ≠ 0 \mathbf{x}\ne\mathbf{0}x=0时，x ⋅ x > 0 \mathbf{x}\cdot\mathbf{x}>0x⋅x>0.

2.2 范数的定义

2.2.1范数的定义

范数定义了向量空间里的距离，范数能将一组实数列表（向量）映射成一个实数，它的出现使得向量之间的比较称为了可能。（其实就是向量的长度）

如果向量x ∈ R n x\in\mathbb{R}^{n}x∈Rn的某个实值函数f ( x ) = ∣ ∣ x ∣ ∣ f(x)=||x||f(x)=∣∣x∣∣满足：

正定性：∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0∣∣x∣∣⩾0且∣ ∣ x ∣ ∣ = 0 ||x||=0∣∣x∣∣=0当且仅当x = 0 x=0x=0；
齐次性：对任意实数α \alphaα，都有∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha x||=|\alpha|\cdot||x||∣∣αx∣∣=∣α∣⋅∣∣x∣∣；
三角不等式：对任意x , y ∈ R n x,y\in\mathbb{R}^{n}x,y∈Rn，都有∣ ∣ x + y ∣ ∣ ⩽ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leqslant||x||+||y||∣∣x+y∣∣⩽∣∣x∣∣+∣∣y∣∣；

满足上述三条性质，则称∣ ∣ x ∣ ∣ ||x||∣∣x∣∣为R n \mathbb{R}^{n}Rn上的一个向量范数。

2.2.2 常见的范数

常用的向量范数有：

L1范数：也叫曼哈顿距离，其公式为∥ x ∥ 1 = ∑ i ∣ x i ∣ |x|{1}=\sum\limits{i}\left|x_{i}\right|∥x∥1 =i∑ ∣xi ∣，它是一个向量中所有元素的绝对值之和；
L2范数：也叫欧几里得距离，其公式为∥ x ∥ 2 = ∑ i x i 2 |x|{2}=\sqrt{\sum\limits{i} x_{i}^{2}}∥x∥2 =i∑ xi2 ，对一个向量中所有元素取平方和，然后再开方。