momentum 和 weight_decay 的区别

momentum 和 weight_decay 的区别

两者在优化器中的作用不同，主要体现在优化的目的和机制上。

1. momentum（动量）

• 作用：加速收敛并减少优化过程中的震荡。

• 机制：

  • momentum 是用于在梯度下降中积累动量的机制。它通过在每一步中综合之前的更新方向，帮助模型在陡峭区域加速，同时在较为平缓的区域减少震荡。
  • 动量的引入等价于为梯度下降添加了“惯性”，即保留一部分之前更新方向的信息。
  • 更新公式（以 SGD 为例）：
    v