深度学习中Dropout原理解析

时间 2020-07-18 标签深度学习中 dropout 原理解析

“微信公众号”

本文同步更新在个人微信公众号里，地址：https://mp.weixin.qq.com/s/3nKXlu3jy-0sNgAHxaxGmQ

本文同步更新在个人知乎专栏里，地址：https://zhuanlan.zhihu.com/p/38200980

1. Dropout简介

1.1 Dropout出现的缘由

在机器学习的模型中，若是模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候常常会遇到过拟合的问题，过拟合具体表如今：模型在训练数据上损失函数较小，预测准确率较高；可是在测试数据上损失函数比较大，预测准确率较低。html

过拟合是不少机器学习的通病。若是模型过拟合，那么获得的模型几乎不能用。为了解决过拟合问题，通常会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不只训练多个模型费时，测试多个模型也是很费时。python

综上所述，训练深度神经网络的时候，老是会遇到两大缺点：git

（1）容易过拟合github

（2）费时算法

Dropout能够比较有效的缓解过拟合的发生，在必定程度上达到正则化的效果。微信

1.2 什么是Dropout

在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。当一个复杂的前馈神经网络被训练在小的数据集时，容易形成过拟合。为了防止过拟合，能够经过阻止特征检测器的共同做用来提升神经网络的性能。网络

在2012年，Alex、Hinton在其论文《ImageNet Classification with Deep Convolutional Neural Networks》中用到了Dropout算法，用于防止过拟合。而且，这篇论文提到的AlexNet网络模型引爆了神经网络应用热潮，并赢得了2012年图像识别大赛冠军，使得CNN成为图像分类上的核心算法模型。app

随后，又有一些关于Dropout的文章《Dropout:A Simple Way to Prevent Neural Networks from Overfitting》、《Improving Neural Networks with Dropout》、《Dropout as data augmentation》。dom

从上面的论文中，咱们能感觉到Dropout在深度学习中的重要性。那么，到底什么是Dropout呢？机器学习

Dropout能够做为训练深度神经网络的一种trick供选择。在每一个训练批次中，经过忽略一半的特征检测器（让一半的隐层节点值为0），能够明显地减小过拟合现象。这种方式能够减小特征检测器（隐层节点）间的相互做用，检测器相互做用是指某些检测器依赖其余检测器才能发挥做用。

Dropout说的简单一点就是：咱们在前向传播的时候，让某个神经元的激活值以必定的几率p中止工做，这样可使模型泛化性更强，由于它不会太依赖某些局部的特征，如图1所示。

图1：使用Dropout的神经网络模型

2. Dropout工做流程及使用

2.1 Dropout具体工做流程

假设咱们要训练这样一个神经网络，如图2所示。

图2：标准的神经网络

输入是x输出是y，正常的流程是：咱们首先把x经过网络前向传播，而后把偏差反向传播以决定如何更新参数让网络进行学习。使用Dropout以后，过程变成以下：

（1）首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图3中虚线为部分临时被删除的神经元）

图3：部分临时被删除的神经元

（2）而后把输入x经过修改后的网络前向传播，而后把获得的损失结果经过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度降低法更新对应的参数（w，b）。

（3）而后继续重复这一过程：

. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
. 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（备份被删除神经元的参数）。
. 对一小批训练样本，先前向传播而后反向传播损失并根据随机梯度降低法更新参数（w，b）（没有被删除的那一部分参数获得更新，删除的神经元参数保持被删除前的结果）。

不断重复这一过程。

2.2 Dropout在神经网络中的使用

Dropout的具体工做流程上面已经详细的介绍过了，可是具体怎么让某些神经元以必定的几率中止工做（就是被删除掉）？代码层面如何实现呢？

下面，咱们具体讲解一下Dropout代码层面的一些公式推导及代码实现思路。

（1）在训练模型阶段

无可避免的，在训练网络的每一个单元都要添加一道几率流程。

图4：标准网络和带有Dropout网络的比较

对应的公式变化以下：

. 没有Dropout的网络计算公式：
. 采用Dropout的网络计算公式：
上面公式中Bernoulli函数是为了生成几率r向量，也就是随机生成一个0、1的向量。
代码层面实现让某个神经元以几率p中止工做，其实就是让它的激活函数值以几率p变为0。好比咱们某一层网络神经元的个数为1000个，其激活函数输出值为y一、y二、y三、......、y1000，咱们dropout比率选择0.4，那么这一层神经元通过dropout后，1000个神经元中会有大约400个的值被置为0。
注意： 通过上面屏蔽掉某些神经元，使其激活值为0之后，咱们还须要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。若是你在训练的时候，通过置0后，没有对y1……y1000进行缩放（rescale），那么在测试的时候，就须要对权重进行缩放，操做以下。
（2）在测试模型阶段
预测模型的时候，每个神经单元的权重参数要乘以几率p。
图5：预测模型时Dropout的操做
测试阶段Dropout公式：

3. 为何说Dropout能够解决过拟合？

（1）取平均的做用：先回到标准的模型即没有dropout，咱们用相同的训练数据去训练5个不一样的神经网络，通常会获得5个不一样的结果，此时咱们能够采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么颇有可能真正的结果就是数字9，其它两个网络给出了错误结果。这种“综合起来取平均”的策略一般能够有效防止过拟合问题。由于不一样的网络可能产生不一样的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不一样的隐藏神经元就相似在训练不一样的网络，随机删掉一半隐藏神经元致使网络结构已经不一样，整个dropout过程就至关于对不少个不一样的神经网络取平均。而不一样的网络产生不一样的过拟合，一些互为“反向”的拟合相互抵消就能够达到总体上减小过拟合。

（2）减小神经元之间复杂的共适应关系：由于dropout程序致使两个神经元不必定每次都在一个dropout网络中出现。这样权值的更新再也不依赖于有固定关系的隐含节点的共同做用，阻止了某些特征仅仅在其它特定特征下才有效果的状况。迫使网络去学习更加鲁棒的特征，这些特征在其它的神经元的随机子集中也存在。换句话说假如咱们的神经网络是在作出某种预测，它不该该对一些特定的线索片断太过敏感，即便丢失特定的线索，它也应该能够从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1，L2正则，减小权重使得网络对丢失特定神经元链接的鲁棒性提升。

（3）Dropout相似于性别在生物进化中的角色：物种为了生存每每会倾向于适应这种环境，环境突变则会致使物种难以作出及时反应，性别的出现能够繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝。

4. Dropout在Keras中的源码分析

下面，咱们来分析Keras中Dropout实现源码。

Keras开源项目GitHub地址为：

https://github.com/fchollet/keras/tree/master/keras

其中Dropout函数代码实现所在的文件地址：

https://github.com/fchollet/keras/blob/master/keras/backend/theano_backend.py

Dropout实现函数以下：

图6：Keras中实现Dropout功能

咱们对keras中Dropout实现函数作一些修改，让dropout函数能够单独运行。

# coding:utf-8
import numpy as np

# dropout函数的实现
def dropout(x, level):
    if level < 0. or level >= 1: #level是几率值，必须在0~1之间
        raise ValueError('Dropout level must be in interval [0, 1[.')
    retain_prob = 1. - level

    # 咱们经过binomial函数，生成与x同样的维数向量。binomial函数就像抛硬币同样，咱们能够把每一个神经元当作抛硬币同样
    # 硬币 正面的几率为p，n表示每一个神经元试验的次数
    # 由于咱们每一个神经元只须要抛一次就能够了因此n=1，size参数是咱们有多少个硬币。
    random_tensor = np.random.binomial(n=1, p=retain_prob, size=x.shape) #即将生成一个0、1分布的向量，0表示这个神经元被屏蔽，不工做了，也就是dropout了
    print(random_tensor)

    x *= random_tensor
    print(x)
    x /= retain_prob

    return x

#对dropout的测试，你们能够跑一下上面的函数，了解一个输入x向量，通过dropout的结果  
x=np.asarray([1,2,3,4,5,6,7,8,9,10],dtype=np.float32)
dropout(x,0.4)

函数中，x是本层网络的激活值。Level就是dropout就是每一个神经元要被丢弃的几率。

注意： Keras中Dropout的实现，是屏蔽掉某些神经元，使其激活值为0之后，对激活值向量x1……x1000进行放大，也就是乘以1/(1-p)。

思考：上面咱们介绍了两种方法进行Dropout的缩放，那么Dropout为何须要进行缩放呢？

由于咱们训练的时候会随机的丢弃一些神经元，可是预测的时候就没办法随机丢弃了。若是丢弃一些神经元，这会带来结果不稳定的问题，也就是给定一个测试数据，有时候输出a有时候输出b，结果不稳定，这是实际系统不能接受的，用户可能认为模型预测不许。那么一种”补偿“的方案就是每一个神经元的权重都乘以一个p，这样在“整体上”使得测试数据和训练数据是大体同样的。好比一个神经元的输出是x，那么在训练的时候它有p的几率参与训练，(1-p)的几率丢弃，那么它输出的指望是px+(1-p)0=px。所以测试的时候把这个神经元的权重乘以p能够获得一样的指望。

总结：

当前Dropout被大量利用于全链接网络，并且通常认为设置为0.5或者0.3，而在卷积网络隐藏层中因为卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等缘由，Dropout策略在卷积网络隐藏层中使用较少。整体而言，Dropout是一个超参，须要根据具体的网络、具体的应用领域进行尝试。

Reference:

Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. arXiv preprint arXiv:1207.0580, 2012.
Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
Srivastava N. Improving neural networks with dropout[J]. University of Toronto, 2013, 182.
Bouthillier X, Konda K, Vincent P, et al. Dropout as data augmentation[J]. arXiv preprint arXiv:1506.08700, 2015.
深度学习（二十二）Dropout浅层理解与实现，地址：https://blog.csdn.net/hjimce/article/details/50413257
理解dropout，地址：https://blog.csdn.net/stdcoutzyx/article/details/49022443
Dropout解决过拟合问题 - 晓雷的文章 - 知乎，地址：https://zhuanlan.zhihu.com/p/23178423
李理：卷积神经网络之Dropout，地址：https://blog.csdn.net/qunnie_yi/article/details/80128463
Dropout原理，代码浅析，地址：https://blog.csdn.net/whiteinblue/article/details/37808623
Deep learning：四十一(Dropout简单理解)，地址：https://www.cnblogs.com/tornadomeet/p/3258122.html?_t_t_t=0.09445037946091872