深度学习中的线性代数基础：从标量到矩阵乘法

深度学习中的线性代数基础：从标量到矩阵乘法

引用

CSDN

1.

https://m.blog.csdn.net/EWQOR/article/details/136725867

线性代数基础知识

本节将简要回顾部分基本线性代数内容，介绍线性代数中的基本数学对象、算术和运算，并用数学符号和相应的代码实现来表示它们。

1. 标量

标量由只有一个元素的张量表示。 下面的代码将实例化两个标量，并执行一些熟悉的算术运算，即加法、减法、乘法、除法和指数。

import torch
# 标量运算
x = torch.tensor(3.0)
y = torch.tensor(2.0)
# 加减乘除求幂
print(x + y, x - y, x * y, x / y, x ** y)

结果：

2. 向量

向量可以被视为标量值组成的列表。 这些标量值被称为向量的元素（element）或分量（component）。

1. 创建：人们通过一维张量表示向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。

x = torch.arange(4)
x

2. 使用：我们可以使用下标来引用向量的任一元素，例如可以通过 $X_i$ 来引用第 $i$ 个元素。

x[3]

注意，在数学中向量 $X$ 可以写为：

3. 长度、维度和形状：向量只是一个数字数组，就像每个数组都有一个长度一样，每个向量也是如此。与普通的Python数组一样，我们可以通过调用Python的内置 len() 函数来访问张量的长度。

len(x)

当用张量表示一个向量（只有一个轴）时，我们也可以通过 .shape 属性访问向量的长度。

x.shape

3. 矩阵

正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。在数学中，向量 $A$ 可以写为：

1. 创建：当调用函数来实例化张量时， 我们可以通过指定两个分量 $m$ 和 $n$ 来创建一个形状为 $(m, n)$ 的矩阵。

A = torch.arange(20).reshape(5, 4)
A

结果：

2. 访问：我们可以通过行索引 $i$ 和列索引 $j$ 来访问矩阵中的标量元素 $A_{ij}$。

A[0][0]

3. 转置：当我们交换矩阵的行和列时，结果称为矩阵的转置。在代码中访问矩阵的转置：

A.T

结果：

4. 张量

就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构。 张量（本小节中的“张量”指代数对象）是描述具有任意数量轴的n维数组的通用方法。 例如，向量是一阶张量，矩阵是二阶张量。

1. 创建：当调用函数来实例化张量时，

X = torch.arange(24).reshape(2, 3, 4)
X

结果：

2. 张量算法的基本性质：标量、向量、矩阵和任意数量轴的张量（本小节中的“张量”指代数对象）有一些实用的属性。 例如，从按元素操作的定义中可以注意到，任何按元素的一元运算都不会改变其操作数的形状。 同样，给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。

2.1 矩阵相加：例如，将两个相同形状的矩阵相加，会在这两个矩阵上执行元素加法。

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # 通过分配新内存，将A的一个副本分配给B
A, A + B

结果：

2.2 矩阵的积：具体而言，两个矩阵的按元素乘法称为Hadamard积（Hadamard product），对应位置元素相乘，区别于矩阵乘法

A * B

结果：

2.3 矩阵每个元素加2：将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

a = 2
X = torch.arange(24).reshape(2, 3, 4)
a + X, (a * X).shape

5. 点积

给定两个向量 $x$ 和 $y$， 它们的点积是相同位置的按元素乘积的和：

x = torch.ones(4, dtype = torch.float32)
y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)

结果：

6. 向量—矩阵积

现在我们知道如何计算点积，可以开始理解矩阵-向量积，形如：

• 实现方法：在代码中使用张量表示矩阵-向量积，我们使用 mv 函数。 当我们为矩阵 $A$ 和向量 $x$ 调用 torch.mv(A, x) 时，会执行矩阵-向量积。 注意，$A$ 的列维数（沿轴1的长度）必须与 $x$ 的维数（其长度）相同。

#查看A是否可以与x相乘
A.shape, x.shape, torch.mv(A, x)

7. 矩阵—矩阵乘法

在掌握点积和矩阵-向量积的知识后， 那么矩阵-矩阵乘法（matrix-matrix multiplication）应该很简单。

• 实现方法：这里的 $A$ 是一个5行4列的矩阵，$B$ 是一个4行3列的矩阵。 两者相乘后，我们得到了一个5行3列的矩阵。调用 torch.mm(A, B) 时，会执行矩阵-向量积:

A = torch.ones(5, 4)
B = torch.ones(4, 3)
torch.mm(A, B)

矩阵-矩阵乘法可以简单地称为矩阵乘法，不应与“Hadamard积”混淆。

二、小结

1. 标量、向量、矩阵和张量是线性代数中的基本数学对象。
2. 向量泛化自标量，矩阵泛化自向量。
3. 标量、向量、矩阵和张量分别具有零、一、二和任意数量的轴。
4. 一个张量可以通过 sum 和 mean 沿指定的轴降低维度。
5. 两个矩阵的按元素乘法被称为他们的Hadamard积。它与矩阵乘法不同。