3.2.2　丢弃层

丢弃层的功能是减少过拟合对运算的影响。在网络中，由于大量权重和网络训练时的多次输入，过拟合成为主要问题，因此现在有很多技术用于改善这一问题。丢弃背后的想法很简单且稍有偏激。它是通过随机将一些激活函数设置为零，即术语“丢弃”。我们在训练网络对输入进行正确分类时，会强迫网络生成一些冗余，冗余部分位于最重要的特征上，在过于具体的特征上留给网络更少的空间，让其更不容易泛化。需要注意的是，“丢弃”必须只能在训练期间进行，因为在网络训练好后，我们希望使用所有可用的信息。