1.8 本章总结

本章主要介绍了神经网络和深度学习的历史，以及机器学习和深度学习的基础知识。深度学习作为机器学习的一个分支，大量利用了机器学习中已有的统计学的知识，同时，作为机器学习的新方向，深度学习也在机器学习的基础上引入了大量新的概念，包括线性变换和激活函数等，其中张量作为深度学习中的基本运算单元扮演着重要的作用。另外，虽然特征提取在深度学习中的重要性相比于机器学习有所下降，但是如何从训练数据中提取特征并输入神经网络进行训练依然是构建深度学习模型的重要组成部分。在进行深度学习的过程中，如何选择激活函数和线性变换的结构在深度学习模型的设计过程中也起着重要的作用。最后则是有关深度学习神经网络的训练过程，为了能够在给定训练数据的情况下对深度学习模型的权重进行训练，我们需要获得模型相对于权重的梯度。为了得到权重的梯度，就需要使用反向传播算法使梯度从损失函数层传播到输入层。给定权重的梯度后，选择一个合适的优化器也是非常重要的，不同的优化器对于模型优化行为的影响非常大。虽然本章的内容偏重于基础，但是在后续章节里会陆续提到相关的知识，尤其是神经网络的很多线性变换层和激活函数层都是前面介绍的线性变换和激活函数的一种变体。当然，后续章节也会结合代码对本章所述的内容做一定的深化。本章作为一个引导性的章节，系统地介绍了深度学习中的一些基础知识，希望对读者后面章节的学习有所裨益。