2. 逻辑回归

简述

Logistic回归算法基于Sigmoid函数，或者说Sigmoid就是逻辑回归函数。Sigmoid函数定义如下： 
11+e?z。函数值域范围(0,1)。

因此逻辑回归函数的表达式如下： 

其导数形式为： 

代价函数

逻辑回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为： 

到整个样本的后验概率就是: 

其中，P(y=1|x;θ)=hθ(x),P(y=0|x;θ)=1?hθ(x)。

通过对数进一步简化有：l(θ)=logL(θ)=∑mi=1y(i)logh(x(i))+(1?y(i))log(1?h(x(i))).

而逻辑回归的代价函数就是?l(θ)。也就是如下所示： 

同样可以使用梯度下降算法来求解使得代价函数最小的参数。其梯度下降法公式为：

总结

优点：

　　1、实现简单；

　　2、分类时计算量非常小，速度很快，存储资源低；

缺点：

　　1、容易欠拟合，一般准确度不太高

　　2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；

适用数据类型：数值型和标称型数据。 
类别：分类算法。 
试用场景：解决二分类问题。

机器学习之逻辑回归