PyTorch 系统教程：理解机器学习数据分割

PyTorch 系统教程：理解机器学习数据分割

引用

CSDN

1.

https://blog.csdn.net/neweastsun/article/details/145953086

数据分割是机器学习中的一个基本概念，它直接影响模型的性能和泛化。在本文中，我们将深入研究为什么数据分割在机器学习中很重要，并演示如何使用PyTorch有效地实现它。

理解数据分割

数据分割是将数据集划分为单独的组以进行训练、验证和测试模型的过程。通常，数据集分为三个子集：

• 训练集：用于拟合机器学习模型。
• 验证集：用于调整模型参数和执行特征选择。
• 测试集：一个单独的数据段，用于评估模型的最终性能。

适当的数据分割可以确保模型不仅记住训练数据，而且真正学会推广到未见过的数据。

为什么数据分割很重要？

数据分割在机器学习中至关重要的主要原因包括：

• 避免过拟合：使用单独的验证和测试集有助于确保模型不是简单地记忆训练数据方面。
• 改进的模型评估：拥有不同的数据集用于训练和测试，有助于评估模型的泛化能力。
• 可靠的超参数调优：验证集对于调优超参数而不影响测试集的性能非常重要。

PyTorch数据分割示例

PyTorch是流行的开源机器学习库，它提供了适合有效实现数据分割的实用程序。下面，我们将展示使用PyTorch工具拆分数据集的各种方法。

使用PyTorch的Dataset类

首先，让我们使用PyTorch的TensorDataset创建一个样本数据集并拆分它：

import torch
from torch.utils.data import Dataset, random_split
from torch.utils.data import DataLoader, TensorDataset

# Generating random data
data = torch.randn(100, 10)  # 100 samples, 10 features
labels = torch.randint(0, 2, (100,))  # Binary targets
dataset = TensorDataset(data, labels)

现在分割数据：

# Defining train, val, test splits
train_size = int(0.7 * len(dataset))
val_size = int(0.15 * len(dataset))
test_size = len(dataset) - train_size - val_size
train_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size])

在这种情况下，我们分配了70%用于培训，15%用于验证，15%用于测试。

创建DataLoaders

为了便于模型训练期间的批处理，我们使用PyTorch DataLoader：

# Creating DataLoaders:
train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=8, shuffle=False)
test_loader = DataLoader(test_dataset, batch_size=8, shuffle=False)

其中shuffle=True与训练数据一起使用，以促进小批量中的多样性。

高级数据分割技术

在实现更高级的模型时，可以使用诸如交叉验证之类的额外分割技术。PyTorch可以与Scikit-learn等库顺利集成以实现这些目的。

from sklearn.model_selection import KFold
import numpy as np

kf = KFold(n_splits=5)
data_np = data.numpy()
labels_np = labels.numpy()

for train_index, val_index in kf.split(data_np):
    train_data, val_data = data_np[train_index], data_np[val_index]
    train_labels, val_labels = labels_np[train_index], labels_np[val_index]
    # Convert to PyTorch tensors and use as Dataset
    train_dataset = TensorDataset(torch.tensor(train_data), torch.tensor(train_labels))
    val_dataset = TensorDataset(torch.tensor(val_data), torch.tensor(val_labels))

这种方法通过允许模型在多个迭代中对不同的子集进行训练和验证来增强泛化。

最后总结

有效的数据分割对于构建健壮的机器学习模型至关重要。它确保了更好的泛化和可靠的性能评估。如所示，PyTorch提供了几个实用程序来帮助有效地实现数据分割，使开发人员在实验期间更容易处理大型和复杂的数据集。