首页 > 代码库 > Logistic回归,梯度上升算法的实现

Logistic回归,梯度上升算法的实现

机器学习实战中也详细描述了梯度上升算法,附件里是一些笔记,再贴一个还不错的帖子

 

转 http://blog.csdn.net/wyb_009/article/details/9205151

 

这个算法搞得 我晚上十点打电话给弟弟,问Ln(x),1/x的导数公式。很惭愧,大学时被我用的出神入化、化成灰我都能认出的求导公式,我今天居然忘了;这时也要说说 西市佳园的移动网络信号,真不怎么好。这次我重点学习Logistic回归,涉及到了最大似然函数最大化的优化解法。

优点:计算代价不高,易于理解和实现;

缺点:容易欠拟合,分类精度可能不高;

适用数据类型:数值型和标称型数据。

Logistic回归使用Sigmoid函数分类。当x为0时,Sigmoid函数值为0.5,随着x的增大,Sigmiod函数将逼近于1;随着x的减小,Sigmoid函数将逼近于0。详情请移步http://en.wikipedia.org/wiki/Sigmoid_function。

如果用 Logistic来预测呢?假设房价x和大小x1,户型x2,朝向x3这三个因素相关,x = w0 + w1*x1 + w2 * x2 + w3*x3,这里w0,w1, w2,w3是各个因素对最终房价的影响力的衡量,照常来说,房间大小x1对房价的决定性更大,那么w1会更大一些,朝向相对其他两个的影响因素更小一些, 那么w3会小一些,这里假设朝向,户型和大小一样有相同的取值范围,当然,现实中朝向的取值不会多到和房子大小那么多。我们对每一个影响因素x都乘以一个 系数w,然后这些计算出一个房价x,将x代入Sigmiod函数,进而得到一个取值范围在0---1之间的数,任何大于0.5的数据就被划分为一类,小于 0.5的被划分为另一类。

下来看看这个函数:。这个函数很有意思,当真实值y为1时,这个函数预测值为1的概率就是Sigmoid概率,当真实值y为0时,这个函数预测值为0的概率为1-Sigmoid概率。于是这个函数代表了Sigmoid函数预测的准确程度。当我们有N个样本点时,似然函数就是这N个概率的乘积。我们要做的呢,就是找出合适的w(w0,w1,w2...)让这个似然函数最大化,也就是尽量让N个样本预测的准确率达到最高。ln(f(x))函数不会改变f(x)的方向,f(x)的最大值和ln(f(x))的的最大值应该在一个点,为了求的最大值,我们可以求的最大值。

 

 

好了,就是求最大值的问题,这次使用梯度上升法(梯度上升法是用来求函数的最大值,梯度下降法是用来求函数的最小值)。梯度上升法的的思想是:要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻,这样梯度算子总是指向函数增长最快的方向:,a为每次上升移动的步长,是f(w)的导数。

下来呢,为了求的最大值,需要求这个函数的导数?然后让我们让预估的参数每次沿着导数的方向增加一定的步长a。

错误注解:上边求导错误,应该再乘以xi

于是w:=w+a(y-h(x)),y是真实分类值,x是真实属性值,h(x)是预测值,也即是h(x)= w0 + w1*x1 + w2 * x2 + w3*x3...

 

说了这多,下面来实现这个算法实现

 
  1. def grad_ascent(dataset, datalabel):  
  2.     weight = [1 for i in range(len(dataset[0]))]  
  3.     alpha = 0.01  
  4.     for k in range(500):  
  5.         errset = []  
  6.         for i in range(len(dataset)):  
  7.             sig = sigmoid(dataset[i], weight)  
  8.             errset.append(datalabel[i]-sig)  
  9.               
  10.         for i in range(len(dataset[0])):  
  11.             for j in range(len(dataset)):  
  12.                 weight[i] += alpha*dataset[j][i]*errset[j]   
  13.     return weight  
  14.       
  15. def rand_grad_ascent(dataset, datalabel):  
  16.     weight = [1 for i in range(len(dataset[0]))]  
  17.     alpha = 0.01  
  18.     for i in range(len(dataset)):  
  19.         sig = sigmoid(dataset[i], weight)  
  20.         err = datalabel[i] - sig  
  21.         for j in range(len(weight)):  
  22.             weight[j] += alpha*err*dataset[i][j]  
  23.               
  24.     return weight  


整体测试文件如下:

 

 

[python] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. import math  
  2. def sigmoid(data, weight):  
  3.     z = sum([data[i]*weight[i] for i in range(len(data))])  
  4.     try:  
  5.         return 1.0/(1+math.exp(-z))  
  6.     except:  
  7.         if z > 0return 1.0  
  8.         elsereturn 0.0  
  9.       
  10. def logistic_classify(data, weight):  
  11.     prob = sigmoid(data, weight)  
  12.     if prob > 0.5return 1.0  
  13.     elsereturn 0.0  
  14.       
  15. def grad_ascent(dataset, datalabel):  
  16.     weight = [1 for i in range(len(dataset[0]))]  
  17.     alpha = 0.01  
  18.     for k in range(500):  
  19.         errset = []  
  20.         for i in range(len(dataset)):  
  21.             sig = sigmoid(dataset[i], weight)  
  22.             errset.append(datalabel[i]-sig)  
  23.               
  24.         for i in range(len(dataset[0])):  
  25.             for j in range(len(dataset)):  
  26.                 weight[i] += alpha*dataset[j][i]*errset[j]   
  27.     return weight  
  28.       
  29. def rand_grad_ascent(dataset, datalabel):  
  30.     weight = [1 for i in range(len(dataset[0]))]  
  31.     alpha = 0.01  
  32.     for i in range(len(dataset)):  
  33.         sig = sigmoid(dataset[i], weight)  
  34.         err = datalabel[i] - sig  
  35.         for j in range(len(weight)):  
  36.             weight[j] += alpha*err*dataset[i][j]  
  37.               
  38.     return weight  
  39.       
  40. def test(class_func):  
  41.     f_train = open(‘horseColicTraining.txt‘)  
  42.     f_test = open(‘horseColicTest.txt‘)  
  43.       
  44.     trainset, trainlabel = [], []  
  45.     for line in f_train.readlines():  
  46.         line_cur = line.strip().split(‘\t‘)  
  47.         trainset.append([1]+[float(line_cur[i]) for i in range(21)])  
  48.         trainlabel.append(float(line_cur[21]))  
  49.           
  50.     trainweight = class_func(trainset, trainlabel)  
  51.       
  52.     errnu, tolnum= 00  
  53.     for line in f_test.readlines():  
  54.         line_cur = line.strip().split(‘\t‘)  
  55.         pred_class = logistic_classify([1]+[float(line_cur[i]) for i in range(21)], trainweight)  
  56.         read_class = float(line_cur[21])  
  57.         if pred_class == read_class:  
  58.             #print "class succ"  
  59.             pass  
  60.         else:  
  61.             errnu += 1  
  62.             #print "class fail, read_class=%d, pred_class=%d" %(read_class, pred_class)  
  63.         tolnum += 1  
  64.           
  65.     print "totol num=%d, fail num = %d, rate = %f" % (tolnum, errnu, float(errnu)/tolnum)  
  66.       
  67. if __name__ == ‘__main__‘:  
  68.     test(grad_ascent)  
  69.     test(rand_grad_ascent)  

 

Logistic回归,梯度上升算法的实现