当前位置：首页 > news >正文

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析（二）

news 2025/8/3 1:55:52

上一篇中讨论了一般性的原则，这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。

出于简单的目的，我们以一个没有偏置参数的循环神经网络为例说明，其在隐藏层中的激活函数使用恒等函数（ $\phi \left ( x \right )=x$ ）。

对于时间步 $t$ ，单个样本的输入及其标签分别为 $\mathbf{x}_{t}\in \mathbb{R}^{d}$ 和 $y_{t}$ 。计算隐状态 $\mathbf{h}_{t}\in \mathbb{R}^{h}$ 和输出 $\mathbf{o}_{t}\in \mathbb{R}^{q}$ 的公式为

$\mathbf{h}_{t}=\mathbf{W}_{hx}\mathbf{x}_{t}+\mathbf{W}_{hh}\textbf{h}_{t-1}$

$\mathbf{o}_{t}=\mathbf{W}_{qh}\mathbf{h}_{t}$

其中，权重参数为 $\mathbf{W}_{hx}\in \mathbb{R}^{h\times d}$ ， $\mathbf{W}_{hh}\in \mathbb{R}^{h\times h}$ 和 $\mathbf{W}_{qh}\in \mathbb{R}^{q\times h}$ 。

目标函数为：

$L=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,\mathbf{o}_{t}\right )$ 。

通常，训练这个模型需要对这些参数分别进行梯度计算： $\partial L/\partial \textbf{W}_{hx}$ 、 $\partial L/\partial \textbf{W}_{hh}$ 和 $\partial L/\partial \textbf{W}_{qh}$ 。

$\frac{\partial L}{\partial \textbf{o}_{t}}=\frac{\partial l\left ( \textbf{o}_{t},y_{t} \right )}{T\cdot \partial o_{t}}\in \mathbb{R}^{q}$

$\frac{\partial L}{\partial \mathbf{W}_{qh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{o}_{t}}\textbf{h}_{t}^{\top }$

$\frac{\partial L}{\partial \mathbf{W}_{hx}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{x}_{t}^{\top }$

$\frac{\partial L}{\partial \mathbf{W}_{hh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{h}_{t-1}^{\top }$

其中： $\frac{\partial L}{\partial \mathbf{h}_{t}}=\sum_{i=t}^{T}\left (\textbf{W} _{hh}^{\top } \right )^{T-i}\textbf{W}_{qh}^{\top }\frac{\partial L}{\partial \textbf{o}_{T+t-i}}$