AI训练数据处理和读取

AI训练数据处理和读取

引用

CSDN

1.

https://blog.csdn.net/skywalk8163/article/details/136574088

在AI模型训练过程中，数据处理是一个至关重要的环节。高质量的数据处理能够显著提升模型的性能和泛化能力。本文将详细介绍AI数据处理的关键技术和实践方法，并通过飞桨框架的代码示例展示如何加载和读取内置数据集。

AI训练数据处理和读取

AI数据处理

AI数据处理概述

AI数据处理是指对原始数据进行一系列的操作，以便机器学习算法能够从中提取有用的信息，进而进行模型的训练、验证和部署。数据处理是机器学习流程中的关键步骤，其质量直接影响到模型的性能。

AI数据处理的关键技术

1 数据清洗

• 缺失值处理：填充、删除或插值。
• 异常值检测与处理：使用统计方法、箱线图等检测异常值，并进行适当的处理。
• 重复值处理：识别并删除重复的数据。

2 数据转换

• 数据标准化：将数据转换为均值为0，标准差为1的分布。
• 数据归一化：将数据缩放到指定的范围，如[0,1]。
• 独热编码：将分类变量转换为二进制向量。

3 特征提取与选择

• 特征提取：通过统计方法、变换等从原始数据中提取有用的特征。
• 特征选择：选择对模型性能影响最大的特征，减少计算量，提高模型泛化能力。

4 数据分割

• 将数据分为训练集、验证集和测试集，分别用于模型训练、模型选择和性能评估。

5 数据增强

• 对于图像数据，可以通过旋转、平移、裁剪等方式生成新的数据，增加模型的泛化能力。
• 对于音频数据，可以通过调整音高、速度等方式生成新的数据。

飞桨代码示例

飞桨框架在 paddle.vision.datasets 和 paddle.text 目录下内置了一些经典数据集可直接调用，通过以下代码可查看飞桨框架中的内置数据集。

import paddle
print('计算机视觉（CV）相关数据集：', paddle.vision.datasets.__all__)
print('自然语言处理（NLP）相关数据集：', paddle.text.__all__)

输出：

计算机视觉（CV）相关数据集： ['DatasetFolder', 'ImageFolder', 'MNIST', 'FashionMNIST', 'Flowers', 'Cifar10', 'Cifar100', 'VOC2012']
自然语言处理（NLP）相关数据集： ['Conll05st', 'Imdb', 'Imikolov', 'Movielens', 'UCIHousing', 'WMT14', 'WMT16', 'ViterbiDecoder', 'viterbi_decode']

以 MNIST 数据集为例，加载内置数据集的代码示例如下所示。

from paddle.vision.transforms import Normalize
# 定义图像归一化处理方法，这里的CHW指图像格式需为 [C通道数，H图像高度，W图像宽度]
transform = Normalize(mean=[127.5], std=[127.5], data_format='CHW')
# 下载数据集并初始化 DataSet
train_dataset = paddle.vision.datasets.MNIST(mode='train', transform=transform)
test_dataset = paddle.vision.datasets.MNIST(mode='test', transform=transform)
print('train images: ',len(train_dataset),', test images: ',len(test_dataset))

输出：

train images:  60000 , test images:  10000

读取数据

可以使用下面的代码直接对数据集进行迭代读取。

from matplotlib import pyplot as plt
for data in train_dataset:
    image, label = data
    print('shape of image: ',image.shape)
    plt.title(str(label))
    plt.imshow(image[0])    
    break