一文详解深度学习数据集构建：6大步骤+PyTorch实战

一文详解深度学习数据集构建：6大步骤+PyTorch实战

引用

CSDN

等

9

来源

1.

https://blog.csdn.net/cout_OK/article/details/142127179

2.

https://cloud.baidu.com/article/3273440

3.

https://blog.csdn.net/weixin_74825941/article/details/142912914

4.

https://cloud.baidu.com/article/3331264

5.

https://blog.csdn.net/q774798577/article/details/135758735

6.

https://blog.csdn.net/leonardotu/article/details/137722802

7.

https://blog.csdn.net/qq_44654715/article/details/137102857

8.

https://cloud.baidu.com/article/3331289

9.

http://www.runoob.com/pytorch/pytorch-dataset-dataloader.html

在深度学习领域，数据集的搭建是基础也是关键环节。从数据的采集、预处理到数据集的划分，每一个步骤都至关重要。本文将详细介绍数据集搭建的核心步骤，包括如何高效地加载数据集，以及如何利用PyTorch中的Dataset和DataLoader类来构建高质量的数据集。无论是初学者还是进阶研究者，都能从中获得实用的操作指南和技巧。

数据收集是数据集搭建的第一步，也是至关重要的一步。数据的质量和数量直接影响到模型的性能。在数据收集阶段，需要明确以下几个关键点：

1. 确定目标：明确所需的数据类型、来源及精度要求。例如，如果你正在构建一个图像分类模型，你需要收集与该主题相关的图像数据。

2. 选择方法：根据目标和数据特性选择合适的方法。常见的数据收集方法包括：

   • 网上查找资源：利用公开的数据集资源，如ImageNet、COCO等。
   • 雇佣人力采集：对于特定领域或高质量数据需求，可以考虑雇佣专业人员进行数据采集。
   • 自己采集：通过爬虫技术或传感器等设备自行采集数据。

3. 数据来源：确保数据来源的可靠性和合法性。对于敏感数据，需要遵守相关法律法规。

数据预处理是提高数据质量的关键步骤，主要包括以下几个方面：

1. 数据清洗：删除或填充缺失值，识别并处理异常值。例如，对于图像数据，可能需要去除模糊或损坏的图片；对于文本数据，需要去除无关的符号和停用词。

2. 标准化与归一化：将数据转换为均值为0、标准差为1的分布，或将数据缩放到特定范围。这一步骤对于提高模型的训练效率和准确性非常重要。

3. 类别编码：将类别特征转换为数值形式。例如，使用one-hot编码将多分类标签转换为向量表示。

4. 特征选择与降维：选择对模型训练最重要的特征，减少特征数量保留主要信息。常用的降维方法有PCA（主成分分析）和t-SNE。

数据标注是将原始数据转换为机器学习模型可理解的格式的过程。对于监督学习，数据标注尤为重要。常见的数据标注类型包括：

• 图像标注：包括边界框标注、语义分割、实例分割等。
• 文本标注：包括情感标注、实体标注、关系标注等。
• 音频标注：包括语音识别、音乐分类等。

常用的标注工具包括LabelImg、VGG Image Annotator（VIA）、Labelbox等。这些工具可以帮助你高效地完成数据标注工作。

数据集的划分是模型训练和评估的重要环节。通常，数据集会被划分为训练集、验证集和测试集。划分的原则和比例如下：

• 训练集：用于模型的训练，占比最大，通常为60%-70%。
• 验证集：用于调整模型的超参数和防止过拟合，占比约为15%-20%。
• 测试集：用于最终评估模型的性能，占比约为15%-20%。

在数据量有限的情况下，可以考虑使用交叉验证（Cross-Validation）方法，以充分利用有限的数据。

数据的存储和管理直接影响到数据集的可扩展性和可维护性。以下是一些建议：

• 文件格式：选择合适的文件格式存储数据，如CSV、JSON、HDF5等。
• 数据版本控制：使用版本控制系统（如Git）管理数据集的版本，便于回溯和协作。
• 数据备份：定期备份数据，防止数据丢失。
• 数据安全：对于敏感数据，需要采取加密等安全措施。

PyTorch提供了强大的工具来帮助我们构建和加载数据集。主要的两个类是Dataset和DataLoader。

Dataset类

Dataset类是将需要训练的数据转化为训练数据+标签的格式，并将其以列表的形式返回。拿图像分类任务举例，Dataset返回类型为图像处理后得到的矩阵与该图像所属的类别标签。Dataloader则负责将数据集以batchsize大小划分，得到训练数据的张量与标签的张量。

下面是Dataset类的模板:

class MyDataSet(Dataset):
    def __init__(self):
        self.data=......
        self.label=......
 
    def __getitem__(self, item):
        data= ...
        label= ...
        return data, label
 
    def __len__(self):
        return len(self.data)

在构建自己的数据集时，只需要继承父类Dataset，并重写__getitem__方法与__len__方法，这两个是必不可少的，其他的可以根据需求添加，比如我可以加一个比较大小的函数（如果需要的话）。Dataset类本质上获取数据集是通过__getitem__方法中的索引item查找列表中的item项，__len__方法则是确定可访问列表长度，即item的最大值是多少。

DataLoader类

DataLoader是一个用于加载和处理数据的数据集迭代器。它提供了一种便捷的方式来读取和处理数据，以便在训练模型时进行批量数据的加载。DataLoader通过组合数据集和采样器，使得数据的加载和处理变得简单高效。

DataLoader的常用参数包括：

• dataset：需要加载的数据集，必须是Dataset对象。
• batch_size：一个批次中的样本数。默认值为1。
• shuffle：是否在每个epoch开始时对数据进行随机打乱。默认为False。
• num_workers：用于数据加载的子进程数。默认为0，表示在主进程中加载数据。
• pin_memory：是否将数据存储在CUDA固定（pinned）内存中，以便更快地将数据转移到GPU。默认为False。

实战案例

让我们通过一个具体的案例来展示数据集制作的完整流程。假设我们要构建一个关于《原神》游戏的问答数据集，用于训练一个问答模型。

1. 数据收集：首先，我们需要收集《原神》游戏相关的角色和国家信息。可以通过游戏官网、维基百科等渠道获取这些数据。

2. 数据预处理：将收集到的数据整理成CSV文件，包含两列：角色名和国家名。

3. 数据标注：使用Python脚本生成问答对。例如，将“刻晴”和“璃月”转换为问题“刻晴是原神哪个国家的角色？”和答案“刻晴是璃月的角色。”

4. 数据集划分：将生成的问答对划分为训练集、验证集和测试集。

5. 数据存储：将数据保存为JSON文件，便于后续使用。

6. 使用PyTorch加载数据集：定义一个自定义的Dataset类来加载和处理数据，然后使用DataLoader进行批量加载。

通过这个案例，我们可以看到数据集搭建是一个系统性工程，需要经过多个步骤的精心设计和处理。每个步骤都至关重要，直接影响到最终模型的性能。

高质量的数据集是深度学习项目成功的关键。通过合理规划数据集的搭建流程，我们可以为模型训练奠定坚实的基础。无论是数据收集、预处理、标注还是划分，每个环节都需要仔细考虑和执行。同时，利用PyTorch等工具可以大大简化数据集的构建过程，提高开发效率。