首页 > 代码库 > logistic公式形式的由来,从广义线性回归说起

logistic公式形式的由来,从广义线性回归说起

普通线性回归的形式为:(之所以这么写是因为的线性才是线性的所指)

线性回归模型有一下以下几个特征:

1.

2.x,y 通常取值连续

3.y的分布为正态分布或接近正态。

广义线性模型进行了如下推广:

1.,h为严格单调充分光滑已知函数。(h的反函数)称为联系函数。;

2.x,y可去连续或离散值,离散值比较常见。

3.y的分布推广到指数型分布,正态是其特例。 y的密度形式:

b(·) ,c(·)为已知函数,为自然参数,为额外参数或散布参数。

 此时可以证明,b上面加一点表示b的一阶导数,两点代表其二阶导数。

 

  (y1,y2,y3,y4...)的联合分布函数(似然函数)为:

其中,因为

 

所以刚好等于h的反函数时(h=·b),该似然函数有最简单形式:

 

 

  

下面我们对二分类(0-1,logic)问题进行讨论:

对于 y=f(x),y的取值为只有0 1的问题,

,y的密度表达式为 ,若要写成指数形式,经推导,可另(相对应的,),

这样密度表达式()有指数形式:,

。相当于

 

所以,

 

是我们想要的最简形式。

此时,,这就是著名的logistic模型。

 

 

 

另外,可以验证定理,

,均值

,方差

 

注:大部分内容源自zhang san guo老师课件。

 

logistic公式形式的由来,从广义线性回归说起