3.1.1　全连接层

在介绍卷积神经网络之前，我们不得不先提一下神经网络（如果想了解神经网络的更多细节，可以参阅《深度学习与图像识别：原理与实践》一书），因为神经网络中相邻层的所有神经元之间都是相互连接的，所以也将相邻层称为全连接层。它包含权重向量W和激活函数，具体来说，如果一张32×32×3的图像（宽和高均为32个像素，有3个RGB通道，可以理解为一个32×32×3的矩阵）要通过全连接层，首先要将其拉伸为3072×1的向量，作为神经网络隐藏层的输入，然后对该向量与权重向量W做点乘操作，将点乘后的结果作为激活函数（如Sigmoid或ReLU）的输入，最后激活函数输出的结果便是全连接层的最终结果。操作过程如图3-1所示，其中圆圈的值表示所有3072个输入和10维权重向量W点乘的结果。

图3-1　全连接示意图