LeCun、Bengio和Hinton综述论文《deep learning》

2015年，深度学习三大神（Yann LeCun，Yoshua Bengio & Geoffrey Hinton），为了记念人工智能60周年，合做在Nature上发表深度学习的综述性文章，介绍了深度学习的基本原理和核心优点，详细介绍了CNN、分布式特征表示、RNN及其不一样的应用，并对深度学习技术的将来发展进行展望。html

原文地址：Deep learning Reviewweb

下载地址：Deep Learning Review算法

译文地址：译文上 译文下网络

要点概括：app

• 深度学习就是一种特征学习方法，把原始数据经过一些简单的可是非线性的模型转变成为更高层次的，更加抽象的表达。经过足够多的转换的组合，很是复杂的函数也能够被学习。

• 深度学习的核心方面是，上述各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的。分布式

• 监督学习svg

  • 传统的方法是手工设计良好的特征提取器，这须要大量的工程技术和专业领域知识。可是若是经过使用通用学习过程而获得良好的特征，那么这些都是能够避免的了。这就是深度学习的关键优点。
• 反向传播来训练多层神经网络
  
  • 反向传播算法的核心思想是：目标函数对于某层输入的导数（或者梯度）能够经过向后传播对该层输出（或者下一层输入）的导数求得。
  • 学习有用的、多级层次结构的、使用较少先验知识进行特征提取的这些方法都不靠谱。确切的说是由于简单的梯度降低会让整个优化陷入到很差的局部最小解。
• 卷积神经网络
  
  • 局部链接、权值共享、池化以及多网络层的使用。
  • 2012年ImageNet的Alex模型：这个成功来自有效地利用了GPU、ReLU、一个新的被称为dropout的正则技术，以及经过分解现有样本产生更多训练样本的技术。
• 分布式特征表示与语言处理
  
  • 首先，学习分布式特征表示可以泛化适应新学习到的特征值的组合。其次，深度网络中组合表示层带来了另外一个指数级的优点潜能。
• 递归神经网络