学习率（learning rate）详解

学习率（learning rate）详解

引用

CSDN

1.

https://blog.csdn.net/hellocsz/article/details/88802670

学习率（learning rate）是机器学习和深度学习中一个非常重要的超参数，它控制着模型学习的进度。本文将详细介绍学习率的概念、设置原则以及如何根据训练过程中的目标函数损失值曲线来调整学习率。

学习率的定义

学习率（learning rate）控制模型的学习进度。在反向传播算法中，学习率通常用符号η表示，它决定了权重更新的步长。

学习率的设置

在训练过程中，一般根据训练轮数设置动态变化的学习率：

• 刚开始训练时：学习率以0.01~0.001为宜。
• 一定轮数过后：逐渐减缓。
• 接近训练结束：学习速率的衰减应该在100倍以上。

对于迁移学习，由于模型已在原始数据上收敛，此时应设置较小的学习率（≤10^-4）在新数据上进行微调。

学习率减缓机制

通过观察目标函数损失值曲线，可以判断学习率是否合适：

• 理想情况：曲线应该是滑梯式下降（绿线）。

• 初始上扬：如果曲线初始时上扬（红线），说明学习率过大导致振荡，应减小学习率并从头开始训练。

• 后期水平：如果曲线初始时强势下降但不久后归于水平（紫线），说明后期学习率过大导致无法拟合，应减小学习率并重新训练后几轮。

• 全程缓慢：如果曲线全程缓慢（黄线），说明学习率过小导致收敛慢，应增大学习率并从头开始训练。

参考资料

[1] 解析卷积神经网络—深度学习实践手册
[2] 调整学习速率以优化神经网络训练
[3] 如何找到最优学习率