3.2.2 回归问题

回归（Regression）模型是指机器学习方法学到的函数的输出是连续实数值，它主要适用于预测问题，常见模型包括基础的线性回归模型和多项式回归模型。

线性回归

按照机器学习建模的3个步骤，首先需要确定选用的模型，基于问题我们很容易知道此处应使用线性回归（Linear Regression）模型，然后将其形式化表达：

其中，x1，x2，x3，xn是样本数据的n维特征描述，每一组w和b能确定一个不一样的h(x)，w和b的所有取值组合就构成了可选函数集合，而回归任务要做的就是如何从这个函数集合中选出“最好”的那个函数。

对于训练数据集D描述如下：

其中，是样本的n维特征向量表示，y(i)∈R是样本标记。线性回归的目标是学到一个线性函数以尽可能准确地预测实值输出标记。

因此需要确定一个衡量标准，来度量一个函数的好坏，这就需要损失函数（Loss Function）。根据线性回归的目标，只需要度量h(x)与y之间的差距，均方误差（Mean Square Error，MSE）是回归任务中最常用的损失函数。