RNN

TensorFlow2.1入门学习笔记(15)——循环神经网络,顺序字母预测

卷积就是特征提取器,通过卷积计算层提取空间信息,例如我们可以用卷积和提取一张图片的空间特征,再把提取到的空间特征送入全连接网络,实现离散数据的分类。但是一些与时间相关的,只可以根据上文预测书下文来预测。 例如: 看到这几个字会下意识地想到“水”,这是因为脑具有记忆。记忆体记住了上文中提到的“鱼离不开”这几个字。下意识的预测出了可能性最大的“水”字,这种预测就是通过提取历史数据的特征,预测出接下来最可能发生的情况。 循环核 通过不同时刻的参数共享,实现了对时间序列的信息提取。 具体模型: $$y_t = softmax(h_t w_{hy} + b_y)$$ $$h_t = tanh(x_t w_{xh} + h_{t-1}w_{hh})$$ 输入特征:$x$ 当前记忆体输出特征:$y_t$ 当前记忆体存储状态信息:$h_t$ 上一时刻记忆体存储状态信息:$h_{t-1}$ 参数矩阵:$w_{xh}, w_{hh}, w_{hy}$ 偏置项:$b_h$ 前向传播时:记忆体内存储的状态信息$h_t$ ,在每个时刻都被刷新,三个参数矩阵$w_{xh} , w_{hh}, w_{hy}$自始至终都是固定不变的。 反向传播时:三个参数矩阵$w_{xh} , w_{hh}, w_{hy}$被梯度下降法更新。 循环核按照时间步展开 循环核按时间轴方向展开