循环神经网络(RNN-Recurrent Neural Network)是神经网络家族中的一员,擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多,分红三个小节进行介绍,内容包括RNN基础以及求解算法、LSTM以及变种GRU、RNN相关应用。本节主要介绍web
1.RNN基础知识介绍
2.RNN模型优化以及存在的问题
3.RNN模型变种算法
RNN的提出能够有效解决如下问题:网络
编码:能够将可变输入编码成固定长度的向量。和CNN相比,可以保留全局最优特征。svg
RNN经常使用如下公式获取历史状态函数
RNN潜在可能的展开方式以下:
1)经过隐藏层传递信息
优化
1.该展开形式很是经常使用,主要包括三层输入-隐藏层、隐藏层-隐藏层、隐藏层到输入层。依赖信息经过隐藏层进行传递。
2.参数U、V、W为共享参数编码
2)输出节点链接到下一时序序列
atom
应用比较局限,上一时序的输出做为下一时间点的输入,理论上上一时间点的输出比较固定,可以携带的信息比较少。spa
3)只有一个输出节点
code
只在最后时间点t产生输出,每每可以将变成的输入转换为固定长度的向量表示。
在使用RNN时,主要形式有4中,以下图所示。
1.一对一形式(左一:Many to Many)每个输入都有对应的输出。
2.多对一形式(左二:Many to one)整个序列只有一个输出,例如文本分类、情感分析等。
3. 一对多形式(左三:One to Many)一个输入产出一个时序序列,经常使用于seq2seq的解码阶段
4.多对多形式(左四:Many to Many)不是每个输入对应一个输出,对应到变成的输出。
对于离散时间的RNN问题能够描述为,输入序列
根据上面经典的RNN网络结构,前向传播过程以下:
如上图U、V、W分别表示输入到隐藏层、隐藏层到输出以及隐藏到隐藏层的链接参数。
1. 隐藏层节点权值:
2. 隐藏层非线性变换:
3. 输出层:
4. softmax层:
BPTT 是求解RNN问题的一种优化算法,也是基于BP算法改进获得和BP算法比较相似。为直观上理解经过多分类问题进行简单推导。
1. 优化目标,对于多分类问题,BPTT优化目标转换最小化交叉熵:
RNN训练比较困难,主要缘由在于隐藏层参数W,不管在前向传播过程仍是在反向传播过程当中都会乘上屡次。这样就会致使1)前向传播某个小于1的值乘上屡次,对输出影响变小。2)反向传播时会致使梯度弥散问题,参数优化变得比较困难。
能够经过梯度公式也能够看出梯度弥散或者爆炸问题。
考虑到通用性,激活函数采用f(x)代替,则对隐藏层到隐藏层参数W梯度公式以下:
1.考虑当t=T,即为最后一个节点时,根据上面的推导有
(∇hTL)=(∇oTL)∂oT∂hT=(∇oTL)V
2.当t=T-1时,注这里只考虑隐藏层节点对W的偏差传递,没有考虑输出层。(∇hT−1L)=(∇ThL)∂ht+1∂ht=(∇hTL)diag(f′(hT))W
3. 当t=T-2时,(∇hT−2L)=(∇T−1hL)∂hT−1∂hT−2=(∇hTL)diag(f′(hT))Wdiag(f′(hT−1))W=(∇hTL)diag(f′(hT))diag(f′(hT−1))W2
4. 当t=k时(∇hkL)=(∇ThL)∏j=k+1T∂hj∂hj−1=(∇hTL)∏j=kTdiag(f′(hj))W
5.此时diag(f′(hj))W 的结果是一个对角矩阵,若是其中某个元素大于1,则该值会指数倍放大;不然会以指数倍缩小。
6.所以能够看出当序列比较长,即模型有长期依赖问题时,就会产生梯度相关问题。通常状况下BPTT对于序列长度在100之内,不会暴露问题。
7.须要注意的是,若是咱们的训练样本被人工分为子序列,且长度都较小时,不会产生梯度问题。此时比较依赖于前期预处理
该问题采用截断的方式有效避免,而且取得较好的效果。
针对该问题,有大量的解决方法,效果不一致。
1.有效初始化+ReLU激活函数可以获得较好效果
2.算法上的优化,例如截断的BPTT算法。
3.模型上的改进,例如LSTM、GRU单元均可以有效解决长期依赖问题。
4.在BPTT算法中加入skip connection,此时偏差能够间歇的向前传播。
5.加入一些Leaky Units,思路相似于skip connection
主要有两大类思路
此时不只能够依赖前面的上下文,还能够依赖后面的上下文。
有多种方式进行深度RNN的组合,左一比较经常使用。
经过该小结的总结,能够了解到 1)RNN模型优点以及处理问题形式。 2)标准RNN的数学公式以及BPTT推导 3)RNN模型训练中的梯度问题以及如何避免