RNN学习笔记

RNN是一类用于处理序列数据的神经网络。普通神经网络的输出层各个数据之间是不相关的。但是有的任务需要考虑到这种序列关系,例如语言模型。 假如我们的目的是基于当前的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht​表示HHH在时间步ttt的值。HtH_{t}Ht​的计算基于XtX_{t}Xt​和Ht−1H_{t-1}Ht−1​,可以认为HtH_{t}Ht​记录了到当前字符为止的序列信息,利用HtH_{t}Ht​对序列的下一个字符进行预测。 RNN的构造 循环神经网络的构造 假设Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^