什么是张量？深度学习中的核心概念详解

什么是张量？深度学习中的核心概念详解

引用

CSDN

1.

https://blog.csdn.net/2301_76924624/article/details/141195792

张量的基础概念

在学习使用PyTorch库进行深度学习网络搭建时，张量（Tensor）这个词总是会频繁出现。实际上，PyTorch中的所有操作都是基于张量进行的。根据PyTorch官网的介绍，一个Tensor是一个包含单一数据类型的多维矩阵。

通常，其多维特性可以用三维及以上的矩阵来描述，例如：

• 单个元素为标量（scalar）
• 一个序列为向量（vector）
• 多个序列组成的平面为矩阵（matrix）
• 多个平面组成的立方体为张量（tensor）

需要注意的是，张量并不严格限制在三维及以上，也有一维张量和二维张量。

简单来说，可以把张量理解成数组，只不过里面的数据类型比较特殊。几维张量就相当于最外层数组包含几层[]。

为什么深度学习要使用Tensor

在监督机器学习中，模型的输入X通常是多个特征列组成的二维矩阵，输出y是单个特征列组成的标签向量或多个特征列组成的二维矩阵。那么，在深度学习中，为何要定义多维矩阵Tensor呢？

深度学习当前最成熟的两大应用方向是计算机视觉（CV）和自然语言处理（NLP）。其中：

• CV面向图像和视频，标准输入数据集至少是三维以上。例如，图像数据集至少包含三个维度（样本数Nx图像高度Hx图像宽度W）。如果是彩色图像，则还需增加一个通道C，包含四个维度（NxHxWxC）。如果是视频帧，可能还需要增加一个维度T，表示将视频划分为T个等时长的片段。
• NLP面向语音和文本，标准输入数据集也是三维以上。例如，文本数据集包含三个维度(样本数N×序列长度L×特征数H)。

因此，输入到深度学习模型的数据结构通常都要三维以上，这也就促使了Tensor的诞生。

Tensor数据类型

Tensor的数据类型可以参考下图：

张量的每种数据类型都有对应CPU和GPU版本，因此进行张量处理的时候需要指定一个设备，它要么是CPU要么是GPU。我们可以用torch.device来创建一个设备，并指定索引，例如：

device = torch.device('cuda:0')

输出结果为：device(type='cuda',index=0)，表示类型为'cuda'，即GPU，索引0表示为第一个GPU。

Tensor形状

张量具有以下形状属性：

• Tensor.ndim：张量的维度，例如向量的维度为1，矩阵的维度为2。
• Tensor.shape：张量每个维度上元素的数量。
• Tensor.shape[n]：张量第n维的大小。第n维也称为轴（axis）。
• Tensor.numel：张量中全部元素的个数。

创建一个四位张量Tensor：

Tensor = torch.ones([2,3,4,5])

它的属性axis、shape、dimension、ndim之间关系如下图所示：

Tensor创建

PyTorch提供了多种方式来创建Tensor：

1. 使用torch.tensor()

import numpy as np
import torch

arr = np.ones((3, 3))
print(arr)
# [[1. 1. 1.]
#  [1. 1. 1.]
#  [1. 1. 1.]]

print("ndarray的数据类型：", arr.dtype)
# ndarray的数据类型： float64

t = torch.tensor(arr)
print(t)
# tensor([[1., 1., 1.],
#         [1., 1., 1.],
#         [1., 1., 1.]], dtype=torch.float64)

2. 从numpy创建Tensor -> torch.from_numpy(ndarray)

import numpy as np
import torch

# 创建一个numpy数组
numpy_array = np.array([[1, 2, 3], [4, 5, 6]])

# 从numpy数组创建一个Tensor，并保持数据共享
tensor_from_numpy = torch.from_numpy(numpy_array)
print(tensor_from_numpy)
# tensor([[1, 2, 3],
#         [4, 5, 6]], dtype=torch.int32)

# 修改tensor，array也会被修改
print("# -----------修改tensor--------------*")
t[0, 0] = -1
print("numpy array: ", arr)
# numpy array: [[-1 2 3]
#               [ 4 5 6]]
print("tensor : ", t)
# tensor([[-1, 2, 3],
#         [4, 5, 6]], dtype=torch.int32)

3. 根据数值创建张量

• torch.zeros()：根据size创建全0张量
• torch.zeros_like()：根据input形状创建全0张量
• torch.full() & torch.full_like()：创建自定义某一数值的张量
• torch.linspace()：创建均分的一维张量
• torch.logspace()：创建对数均分的一维张量
• torch.arange()：创建等差的一维张量
• torch.eye()：创建单位对角矩阵

4. 根据概率创建张量

• torch.normal()：生成正态分布（高斯分布）

torch.normal(mean, std, *, generator=None, out=None)