循环神经网络

TensorFlow2.1入门学习笔记(16)——实战使用RNN,LSTM,GRU实现股票预测

Embedding 独热码:数量大,过于稀疏,映射之间是独立的,没有表现出关联性 Embedding:一种单词编码方法,以低维向量实现了编码,这种编码通过神经网络训练优化,能表达出单词的相关性。 TF描述Embedding层 tf.keras.layers.Embedding(词汇表大小,编码维度) # 编码维度就是用几个数字表达一个单词 # 对1-100进行编码, [4] 编码为 [0.25, 0.1, 0.11] tf.keras.layers.Embedding(100, 3 ) 入Embedding时, x_train维度:[送入样本数, 循环核时间展开步数] RNN使用Embedding 编码,预测字母 import numpy as np import tensorflow as tf from tensorflow.

TensorFlow2.1入门学习笔记(15)——循环神经网络,顺序字母预测

卷积就是特征提取器,通过卷积计算层提取空间信息,例如我们可以用卷积和提取一张图片的空间特征,再把提取到的空间特征送入全连接网络,实现离散数据的分类。但是一些与时间相关的,只可以根据上文预测书下文来预测。 例如: 看到这几个字会下意识地想到“水”,这是因为脑具有记忆。记忆体记住了上文中提到的“鱼离不开”这几个字。下意识的预测出了可能性最大的“水”字,这种预测就是通过提取历史数据的特征,预测出接下来最可能发生的情况。 循环核 通过不同时刻的参数共享,实现了对时间序列的信息提取。 具体模型: $$y_t = softmax(h_t w_{hy} + b_y)$$ $$h_t = tanh(x_t w_{xh} + h_{t-1}w_{hh})$$ 输入特征:$x$ 当前记忆体输出特征:$y_t$ 当前记忆体存储状态信息:$h_t$ 上一时刻记忆体存储状态信息:$h_{t-1}$ 参数矩阵:$w_{xh}, w_{hh}, w_{hy}$ 偏置项:$b_h$ 前向传播时:记忆体内存储的状态信息$h_t$ ,在每个时刻都被刷新,三个参数矩阵$w_{xh} , w_{hh}, w_{hy}$自始至终都是固定不变的。 反向传播时:三个参数矩阵$w_{xh} , w_{hh}, w_{hy}$被梯度下降法更新。 循环核按照时间步展开 循环核按时间轴方向展开