深度学习中的迭代次数、批次大小和周期详解
创作时间:
作者:
@小白创作中心
深度学习中的迭代次数、批次大小和周期详解
引用
CSDN
1.
https://blog.csdn.net/weixin_31866177/article/details/141680180
在深度学习的训练过程中,迭代次数(iterations)、批次大小(batch size)和周期(epoch)是三个重要的概念,它们之间有密切的关系。本文将详细解释这些概念及其相互关系,并通过一个PyTorch代码示例帮助读者更好地理解。
1. 批次大小(Batch Size)
批次大小是指在一次前向和后向传播中,模型处理的样本数量。批次大小的选择会影响训练的稳定性和速度:
- 小批次大小:更频繁地更新模型参数,可以更快地找到好的方向,但会导致更高的噪声和不稳定性。
- 大批次大小:每次更新模型参数时有更准确的梯度估计,但更新频率较低,训练时间可能更长。
2. 迭代次数(Iterations)
迭代次数是指模型在训练过程中更新参数的次数。每次迭代,模型处理一个批次的样本并更新参数。迭代次数的计算公式为:
3. 周期(Epoch)
一个周期(epoch)是指模型已经看过所有训练样本一次。换句话说,一个周期意味着模型已经完成了一轮完整的训练数据集的遍历。周期的数量通常用来衡量训练的进展。
关系总结
- 迭代次数和批次大小的关系:
- 每次迭代处理一个批次(batch size)的样本。
- 一个周期内的迭代次数等于训练集的样本数量除以批次大小。
- 迭代次数和周期的关系:
- 一个周期内的迭代次数为:
- 总的迭代次数(Total iterations)等于每个周期的迭代次数乘以周期数:
示例
假设有一个训练集包含1000个样本,批次大小为50,训练10个周期:
每个周期的迭代次数:
总的迭代次数:
实践中的选择
- 批次大小:选择合适的批次大小通常需要在稳定性和计算效率之间权衡。较小的批次大小可能导致更高的噪声,但更频繁的参数更新。较大的批次大小则提供更稳定的梯度估计,但需要更多的内存和较长的计算时间。
- 周期数:通常通过观察训练和验证损失或准确率来决定训练的周期数。过多的周期可能导致过拟合,而过少的周期可能导致欠拟合。
代码示例
以下是一个简单的PyTorch代码示例,展示了迭代次数、批次大小和周期数的关系:
import torch
from torch.utils.data import DataLoader, TensorDataset
# 生成一些示例数据
num_samples = 1000
inputs = torch.randn(num_samples, 10)
targets = torch.randn(num_samples, 1)
# 创建数据集和数据加载器
dataset = TensorDataset(inputs, targets)
batch_size = 50
dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
# 模型、损失函数和优化器
model = torch.nn.Linear(10, 1)
loss_fn = torch.nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# 训练
num_epochs = 10
for epoch in range(num_epochs):
for batch_inputs, batch_targets in dataloader:
# 前向传播
outputs = model(batch_inputs)
loss = loss_fn(outputs, batch_targets)
# 后向传播和优化
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')
在这个示例中,我们有1000个样本,批次大小为50,每个周期有20次迭代,总共训练10个周期。因此,总的迭代次数为200次。
热门推荐
浙江新春文旅消费季:千场活动、万场娱乐,1.6亿消费券等你拿
浙江隐藏瑰宝:江郎山VS龙游石窟
春节:从农耕祭祀到国际节日的三千年文化之旅
春节传统习俗:从腊八到拜年的文化传承
全身上下,为什么「脸」最爱出油?
如何获得保险赔偿中的误工费?这种赔偿方式有何规定?
带娃打卡武汉必玩景点:中国地质大学博物馆&极地海洋世界
呼伦贝尔草原:骑马之旅的最佳选择!
马背上的亲子时光:一场勇气与爱的旅程
从赵武灵王到现代:北方骑马文化的传承与创新
揭秘匈奴骑射绝技:如何称霸草原?
重庆地铁6号线东延线最新进展:实现“电通”,预计2025年通车
打卡重庆地铁6号线,解锁山城新玩法!
科普 | 什么是磷酸铁锂电池?
探寻上海美食文化的独特魅力
每天练习的 5 个强大的积极习惯
如何培养强大的自控能力:实用策略与技巧分享
北京故宫北院区最新进展:预计2025年10月竣工,将成特大型综合类博物馆
喜羊羊新番:皓月公主和懒羊羊的甜蜜日常
阿汝娜教你上瘾式存钱,职场财富自由不是梦
用“上瘾式存钱”开启你的财富之旅
《上瘾式存钱》:让存钱成为一种乐趣
重庆亲子美食打卡地大揭秘!
秋游打卡:颐和园&北海公园
北京六日游必打卡:颐和园+798艺术区
斯坦福研究揭示:体温37度已成历史,免疫力悄然下降
专家解读:37度体温与免疫力的关系
我们常用的锂电池有什么区别
欧洲旅游必买伴手礼大揭秘!
冬日打卡:台州热门户外活动