2.2.3　对数概率回归

上述的线性回归模型解决的是回归问题，即模型最后输出的是一个连续值，如果想要用这种类似的方法解决分类问题，只需要找到一个单调可微的联系函数，将真实标记值与模型预测值联系起来。

考虑最简单的二分类任务，y∈{0,1}，要找到一个将实数转化为0/1值的联系函数，一个比较理想的函数就是“单位阶跃函数”，即：

但是该函数为分段函数，不连续，无法求导，最后求解的过程会十分困难，因此无法作为联系函数，另一个近似的对数概率函数，如图2.4所示，有着相似的变化曲线，同时也有更好的微分性质。

令z等于线性回归模型的输出，代入对数概率函数，可以得到：

图2.4　对数概率函数示意图

该式子可变形为如下式子，称为y的对数几率，分子中的y表示样本所得输出结果为正的可能性，分母1-y表示输出结果为负的可能性，两者的比值为“概率”，反映了样本结果为正的相对可能性，再取对数就可以由对数概率的正负判断样本输出结果的正负。

因此，对数回归模型可以看作是，用线性回归模型的预测值取逼近分类取值的对数概率，因此称为对数概率回归模型，虽然叫作回归，但其实解决的是分类问题。另外，由于对数概率函数也是凸函数，因此线性对数模型求解的梯度下降等方法，对数概率模型也可直接使用。