一般来说，回归是不用于分类的，因为回归是连续的，受噪声影响较大。为了能够处理分类问题，引入了逻辑回归。

逻辑回归本质上来说还是线性回归，他只是在线性回归的基础上加了一个映射函数。

假设函数：$h_\theta\left(x\right) = g\left(\theta^T x \right) = \frac{1}{1+e^{-\theta^Tx}}$

              $g\left(z\right) = \frac{1}{1+e^{-z}}$

这里我们讨论二分类问题，即$y\in{0,1}$，这里假设二值满足伯努利分布。

伯努利试验：在同样的条件下，重复地、相互独立地进行的一种随机试验，其结果只有两种：发生（概率为p）或者不发生（概率为1-p）。

伯努利分布：进行一次伯努利实验，成功（X=1）的概率为p，失败(X=0)的概率为1-p，则称随机变量x服从伯努利分布。

这里$h_\theta\left(x\right)$表示样本x为第一类（对于的y=1）的概率，所以有：

$P\left( y=1 | x ; \theta \right) = h_\theta\left(x\right)$

$P\left( y=0 | x ; \theta \right) = 1-h_\theta\left(x\right)$

将两者结合起来：

logistic regression