3.2　BP神经网络两个基础算法详解

在正式介绍BP神经网络之前，需要首先介绍两个非常重要的算法，即最小二乘法和随机梯度下降算法。

最小二乘法是统计分析中最常用的逼近计算的一种算法，其交替计算结果使得最终结果尽可能地逼近真实结果。随机梯度下降算法充分利用了深度学习的图运算特性的迭代和高效性，通过不停地判断和选择当前目标下的最优路径，使得能够在最短路径下达到最优的结果，从而提高大数据的计算效率。