3.3.1　深度学习基础

机器学习在理论上可以看作统计学在计算机科学上的一个应用。在统计学上，一个非常重要的内容就是拟合和预测，即基于以往的数据建立光滑的曲线模型，实现数据结果与数据变量的对应关系。

深度学习继承了统计学的应用领域，并且和统计学具有相同的目的——寻找结果与影响因素的一一对应关系，只不过样本点由狭义的x和y扩展到向量、矩阵等广义的对应点。此时，由于数据的复杂，对应关系模型的复杂度也随之增加，而不能使用一个简单的函数表达。

数学上通过建立复杂的高次多元函数解决复杂模型拟合的问题，但是大多数都失败了，因为过于复杂的函数式是无法进行求解的，也就是其公式的获取不可能。

基于前人的研究，科研工作人员发现可以通过神经网络来表示这样的一个一一对应关系，而神经网络本质就是一个多元复合函数，通过增加神经网络的层次和神经单元可以更好地表达函数的复合关系。

图3.13是多层神经网络的一个图像表达方式，通过设置输入层、隐藏层与输出层可以形成一个多元函数，用于求解相关问题。

图3.13　多层神经网络的表示

可以通过数学表达式将多层神经网络模型表达出来，如图3.14所示。

图3.14　多层神经网络的数学表达

其中，x是输入数值，w是相邻神经元之间的权重，也就是神经网络在训练过程中需要学习的参数。与线性回归类似的是，神经网络学习同样需要一个“损失函数”，即训练目标通过调整每个权重值w来使得损失函数最小。前面在讲解梯度下降算法的时候已经说过，如果权重过多或者指数过大时，直接求解系数是一个不可能的事情，因此梯度下降算法是能够求解权重问题比较好的方法。