【记录】动手学深度学习05

文章目录6.6 通过时间反向传播6.6.1 定义模型6.6.2 模型计算图6.6.3 方法6.7 门控循环单元(GRU) 6.6 通过时间反向传播 6.6.1 定义模型 6.6.2 模型计算图 重点:循环神经网络模型计算中的依赖关系图。 6.6.3 方法 当总的时间步数较大或者当前时间步较小时,循环神经网络的梯度较容易出现衰减或爆炸。 6.7 门控循环单元(GRU) 裁剪梯度可以应对梯度爆炸,但无法解决梯度衰减的问题。通常由于这个原因,循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。 门控循环神经网络(gated recurrent neural network)的提出,正是为