赛博土木A-深度学习09：循环神经网络

1 无隐状态的神经网络

单隐藏层的MLP 结构如下：

$$\mathbf{H} = \phi(\mathbf{X} \mathbf{W}_{xh} + \mathbf{b}_h)$$ $$\mathbf{O} = \mathbf{H} \mathbf{W}_{hq} + \mathbf{b}_q$$

其中$\mathbf{H}$是隐藏层。

2 有隐状态的循环神经网络

隐藏状态的表示如下：

$$\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh} + \mathbf{b}_h)$$ $$\mathbf{O}_t = \mathbf{H}_t \mathbf{W}_{hq} + \mathbf{b}_q$$

不同于MLP，新增了 $\mathbf{H}_{t-1} \mathbf{W}_{hh}$ 结构用保留序列的历史信息。并且隐状态是随着时间步变换而同步变化的，因此会循环计算 $\mathbf{H}_t$ 。因此将这类循环计算隐状态的神经网络称为循环神经网络。计算隐状态的层被称为循环层。

​​

‍

参考文献

[1] 《动手学深度学习》 — 动手学深度学习 2.0.0 documentation[EB/OL]. [2024-12-21]. https://zh.d2l.ai/.