首页 > 代码库 > Logistic回归小结
Logistic回归小结
1.梯度上升优化
1). 伪代码:
所有回归系数初始化为1-------------------weights = ones((colNum,1))
重复r次:
计算整个数据集的梯度gradient
使用alpha*gradient更新回归系数的向量
返回回归系数weights
2). 迭代r次的代码:
1 2 3 4 | for k in range (r): #heavy on matrix operations h = sigmoid(dataMatrix * weights) #matrix mult error = (labelMat - h) #vector subtraction weights = weights + alpha * dataMatrix.transpose() * error #matrix mult |
2.随机梯度上升
梯度上升算法每次更新回归系数都要遍历整个数据集(批处理),样本集数十亿时复杂度相当高。
一种改进方法是一次仅用一个样本点来更新回归系数(在线学习),该方法称为“随机梯度上升算法”。
1). 伪代码:
所有回归系数初始化为1
对数据集中每个样本:
计算该样本梯度gradient
使用alpha*gradient更新回归系数的向量
返回回归系数weights
2). 用每个样本点更新回归系数代码:
1 2 3 4 | for i in range (m): h = sigmoid( sum (dataMatrix[i] * weights)) error = classLabels[i] - h weights = weights + alpha * error * dataMatrix[i] |
3. 1与2比较:
1加载的是列表,用numpy.mat()转成矩阵计算,计算中是向量运算。2加载数据时就已通过numpy.array()转换列表数据为数组数据类型,计算中是数值运算。
4. 改进随机梯度上升
一种判断优化算法优劣的可靠方法是看它是否收敛,也就是说参数是否达到了稳定值,是否还会不断变化。
将2在整个数据集运行200次,绘制出X0,X1,X2三个回归系数的变化情况。发现1)系数2较快达到稳定值,2)大波动停止后,还有周期性小波动,原因是存在一些不能正确分类的样本点(数据及非线性可分),在每次迭代时引发系数剧烈改变。
期望改进:1)避免来回波动,从而收敛到某个值;2)加快收敛速度
改进随机梯度上升算法更新回归系数代码:
1 2 3 4 5 6 7 8 9 | for j in range (numIter): dataIndex = range (m) for i in range (m): alpha = 4 / ( 1.0 + j + i) + 0.0001 #apha decreases with iteration, does not randIndex = int (random.uniform( 0 , len (dataIndex))) #go to 0 because of the constant h = sigmoid( sum (dataMatrix[randIndex] * weights)) error = classLabels[randIndex] - h weights = weights + alpha * error * dataMatrix[randIndex] del (dataIndex[randIndex]) |
改进之处:
1)alpha = 4/(1.0+j+i)+0.0001,alpha在每次迭代中都会作调整,缓解数据波动或高频波动。alpha每次减少1/(j+i),j是迭代次数,i表示本次迭代中第i个选出来的样本,当j<<max(i)时,alpha就不是严格下降的。类似模拟退火等其他优化算法中避免参数严格下降。另alpha永远不会减小到0,因为存在常数项,保证在多次迭代后新数据仍有影响。如要处理的问题是动态变化,可适当加大上述常数项,确保新值获得更大回归系数。
2)通过随机选取样本更新回归系数,减小周期波动。这种方法每次随机从列表中选出一个值,然后从列表删除改值(再进行下次迭代)。
效果:与梯度上升分割数据效果差不多,但迭代次数远小于后者,前者20次,后者500次。另系数周期性波动有缓解。
5.画图
Andrew Ng在Cousera ML课中用Octave绘制Decision Boundary,本节中用python matplot实现相同分隔线绘制。本节中还有参数在迭代中变化情况的绘制。
6.数据预处理
数据集来自UCI机器学习数据库http://archive.ics.uci.edu/ml/datasets/Horse+Colic。该数据集有的指标比较主观,有的难以测量(如疼痛程度等)。另数据集有30%数据缺失。
比较用Pandas,R,和Excel处理数据集中缺失值,Excel处理如此次数据量不大、结构不复杂的数据集较为方便。
用Excel将数据集保存为文本分隔文件,缺失值全部用0替换,NumPy数据类型不允许包含缺失值。选择0来替换,恰好适用于Logistic回归。回归系数更新公式如下:
weights = weights + alpha * error * dataMatrix[randIndex]
如果dataMatrix某个特征对应值为0,那么系数将不做更新。