深度学习(六):多层感知机

文章目录

引入

  深度学习主要关注多层模型,接下来将以多层感知机 (multi-layer perceptron, MLP)为例,介绍多层神经网络的概念。

1.1 隐藏层

  多层感知机在单层神经网络的基础上引入了一到多个隐藏层 (hidden layer)。隐藏层位于输入层和输出层之间,以下图为例,它含有一个隐藏层,该层包含5个隐藏单元 (hidden unit):
在这里插入图片描述
  图片来源:李沐、Aston Zhang等老师的这本《动手学深度学习》一书。
  由于输入层不涉及计算,所以上图所示的感知机的层数为2。
  具体的参数如下:

名称 符号
小批量样本 X R n × d \boldsymbol{X} \in \boldsymbol{R}^{n×d}