Adam优化器

Adam，Adaptive Moment Estimation，自适应矩估计。是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。
简述
Adam优化器是一种梯度下降算法的变体，用于更新神经网络的权重。它结合了随机梯度下降算法（SGD）和自适应学习率算法，能够快速收敛并且减少训练时间。Adam优化器计算出每个参数的独立自适应学习率，不需要手动调整学习率的大小，因此在实践中被广泛使用。

作用：
深度学习中的神经网络优化。Adam（Adaptive Moment Estimation）优化器是一种自适应优化算法，可以根据历史梯度信息来调整学习率。它结合了RMSProp和Momentum两种优化算法的思想，并且对参数的更新进行了归一化处理，使得每个参数的更新都有一个相似的量级，从而提高训练效果。Adam优化器在很多实际问题中表现良好，尤其是在大规模数据集上训练深度神经网络时效果更佳。

功能
Adam 优化器的主要功能是根据梯度信息来更新神经网络参数，从而最小化损失函数。具体来说，它的主要功能包括：略

原文链接：https://blog.csdn.net/m0_50534425/article/details/130824882

学习率

学习速率是指导我们该如何通过损失函数的梯度调整网络权重的超参数。

    学习率越低，损失函数的变化速度就越慢。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛，特别是在被困在高原区域的情况下。学习率越高，意味着权重更新的动作更大。虽然可能使得模型花费更少的时间收敛到最优权重，但也难以避免权重跳动过大，不够准确以致于达不到最优点

————————————————
https://blog.csdn.net/weixin_52397563/article/details/125965548