2.4　神经网络

人工神经网络（Artificial Neural Network），简称神经网络，是由一些具有适应性的简单单元组成的连接网络，能够通过模拟生物神经系统对真实世界物体所做出的交互反应。

之前讨论的线性模型，比如线性回归和对数概率回归，是非常好用的模型，可以通过解析解或者优化方法，实现高效且可靠的拟合。但是这种方法对非线性关系有很大的局限性，并且无法处理变量与变量之间的关系。为了扩展线性模型，之前提到过使用一个非线性的连接函数将输出与最终目标相联系。剩下的问题就是如何选择这样一个非线性的连接函数。其中一种方法是选择使用一个通用的连接函数，这个函数有足够高的维度，有足够的能力来拟合训练数据集，但是这样得到的结果往往会过拟合，有很大的泛化误差。另一种方法是手动地设计连接函数，在深度学习出现以前，这是比较主流的方法，但是由于这种方法需要对每个单独的任务进行研究，往往需要很多的时间与经验，并且各个任务上使用的连接函数不能跨任务使用。最后一种方法就是即将要讨论的神经网络的方法，本节将先介绍神经元模型的基本结构，然后介绍前馈神经网络及反向传播算法的理论推导，最后介绍深度学习的概念。