首页 > 代码库 > deep learning (六)logistic(逻辑斯蒂)回归中L2范数的应用

deep learning (六)logistic(逻辑斯蒂)回归中L2范数的应用

zaish上一节讲了线性回归中L2范数的应用,这里继续logistic回归L2范数的应用。

先说一下问题:有一堆二维数据点,这些点的标记有的是1,有的是0.我们的任务就是制作一个分界面区分出来这些点。如图(标记是1的样本用+表示,0的用红点表示):

技术分享

这其实是一个二分类问题,然后我们就想到了logistic回归模型。这是一个概率模型,

即预测在x已知时,标记为1的概率:技术分享那么标记为0的概率为:技术分享

那么分别根据每个样本的标记y是1还是0分别带入到每个概率模型(每个样本只带入一个模型,而不是两个都带入),然后就得出了对数似然估计,也就是

cost function,这也就是之前我们做的。

现在我要说点不同的东西,先说一下之前理解的线性回归中的技术分享,我之前以为就是样本的所有维度变量的线性叠加。其实这里的线性回归不光是这样,我理解的太狭隘了。这里的x,包括前面的x指的是样本特征的向量!不是很明白么,继续解释一下,一个样本是[x1,x2],那么这个样本的特征可以是x=   [x1,x2],但是这个样本的特征也可以不光是这些,比如这个样本的特征还可以是x=[x1,x1平方,x2,x2平方,x1x2].懂了吧?特征是你自己从观察值中提取出来的,你想是什么就是什么,而不只是观察值本身。再比如,有一幅图像,那么这幅图像的特征不光可以是像素值,还可以用很多方法来得到你想要的图像的特征。而这里说的线性回归应该指的是特征的线性回归模型。所以上一节确实是线性回归模型。所以从观察值中如何找特征,找哪些特征也是一个很重要的问题。

现在我们的样本观察值有两维,即技术分享,并且我们根据观察值,取的特征为:

技术分享

这是一个29维的特征向量,我们先根据每一个样本的观察值得到每一个样本29维的特征向量。这个程序,程序下载入口这个网站已经给出了:

   1: function xFeature= map_feature(u, v)
   2: %u,v 向量每个元素分别是每个样本的第一维,第二维的观察值
   3: degree= 6;
   4:     xFeature= ones(size(u(:,1)));
   5:     for i = 1:degree
   6:         for j = 0:i
   7:            xFeature(:, end+1) = (u.^(i-j)).*(v.^j);
   8:            %xFeature 矩阵的每一行是每一个样本的特征向量
   9:         end
  10:     end

加入L2正则项的cost function是:

技术分享

这里θ是从θ0开始的,一直到θ28.θ0就是θX中常数项的那个参数。所以这个公式表明θ0是不用加上去的。即常数项的那个参数不参与cost function的规则相。

公式中的x(i)就是前面得到的每一个样本的28维特征向量

现在我们要对这个cost function 最小化来得到模型的参数。我们使用牛顿法进行迭代:

技术分享

我们知道(之前的一节中)没有正则项时候的cost function的一次导为:

技术分享

二次导数为:

技术分享

带了L2正则项的cost function 的一次导为:

技术分享也就是:技术分享,θ’是θ这个模型参数向量(这里第一个元素师θ0,也就是θX常数项的参数)的第一个元素θ0=0的向量。

二次导为:

技术分享

matlab代码即:

   2: %之后就不用再增加一列了。后面的theta参数也不用n+1了。
   3: [m, n] = size(x);
   4: % Initialize fitting parameters
   5: theta = zeros(n, 1);%参数θ向量是一个列向量。
   6: % Define the sigmoid function
   7: g = inline(‘1.0 ./ (1.0 + exp(-z))‘); 
   8: % setup for Newton‘s method
   9: MAX_ITR = 15;%牛顿迭代法的次数
  10: J = zeros(MAX_ITR, 1);%初始化15次迭代的cost function 值,J是为了之后画图
  11: % Lambda 是L2正则项的参数
  12: lambda = 1;%lambda=0,1,10,修改这个地方,运行3次可以得到3种结果。
  13: % Newton‘s Method
  14: for i = 1:MAX_ITR
  15:     z = x * theta;
  16:     h = g(z);%z,h都是m*1的列向量,m是样本的个数
  17:     % Calculate J (for testing convergence)
   1: x = map_feature(x(:,1), x(:,2));%得到的x第一列都是1,经过这个函数后已经增加了,
  18:     J(i) =(1/m)*sum(-y.*log(h) - (1-y).*log(1-h))+ ...
  19:     (lambda/(2*m))*norm(theta([2:end]))^2;
  20:   %norm(theta([2:end]))就是欧氏距离,所以还要平方。要知道是2:end,不是1:end
  21:   %前面说了
  22:     
  23:     % Calculate gradient and hessian.
  24:     G = (lambda/m).*theta; G(1) = 0; 
  25:     % extra term for gradient 
  26:     L = (lambda/m).*eye(n); L(1) = 0;
  27:     % extra term for Hessian  eye(n)是n维单位矩阵。
  28:     grad = ((1/m).*x‘ * (h-y)) + G;
  29:     H = ((1/m).*x‘ * diag(h) * diag(1-h) * x) + L;%除了G,L其他的公式matlab
  30:     %的表达形式都和以前一样。
  31:     
  32:     % Here is the actual update
  33:     theta = theta - H\grad;
  34:   
  35: end

当我们得到logistic回归模型的参数后,我们知道这个模型得到的是概率,我们如果想用这个模型进行分类,我们需要有一个分类假设,这里我们假设如果

h(x(i))>0.5,那么这个样本X(i)就属于label=1那一类,如果<0.5,那么这个样本x(i)就属于label=0那一类。于是我们推算出来:技术分享

这个就是分界面。注意这里的x是那个29维的向量。因为我们要在那个输入的观察向量[u,v]那个面上画出分界面,所以我们要把这里的x里面的元素各代表多少的u和v还原回去,那么这个分界面就是一个曲面了(因为有u,v都有高次方)。那么具体怎么画哪,我们在u,v轴上画出一个区域的数据格,把这个区域里面所有的[u,v]通过map_function 得到每一个29维的x向量, 然后通过技术分享,得到这个区域所有对应的z,然后通过在这些z中画出z=0的等高线,就得到了技术分享的这个分界面。具体的matlab程序为:

   1: u = linspace(-1, 1.5, 200);
   2: v = linspace(-1, 1.5, 200);
   3: z = zeros(length(u), length(v));
   4:  
   5: % Evaluate z = theta*x over the grid
   6: for i = 1:length(u)
   7:     for j = 1:length(v)
   8:         z(i,j) = map_feature(u(i), v(j))*theta;
   9:     end
  10: end
  11: z = z‘; % important to transpose z before calling contour
  12:  
  13: % Plot z = 0
  14: contour(u, v, z, [0, 0], ‘LineWidth‘, 2)

这里有个疑惑的地方就是第11行为什么要对z转置,这里说一下:假设区域如图所示:

技术分享

看上面程序的第6-8行,我们知道i=1,v=2的时候,那么z(1,2)就是图中的红点对应的z值,那么循环完之后就是有一个z矩阵,

那么接下来我们用contour这个画等高线,后面的输入是(u,v,z,[0,0]),这里的意思是根据u,v向量给出的坐标,然后和对应的z得到z的

曲面,然后后面的[0,0]意思是画出z=0和z=0之间的等高线,也就是画出z=0的等高线。这里有一个地方要注意的是u,v向量给出的坐标,然后和z

对应的方式是:比如u的第一个元素和v的第二个元素,对应的是z矩阵的第二行第一列z(2,1),也就是u对应的是矩阵z第几列,v对应的是矩阵z的第几行。然而,我们根据之前循环得到的矩阵知道,那里的z(2,1)是当i=2,v=1得到的,也就是u=2(u的第二个元素),v=1(v的第一个元素),所以我们草药把循环得到的z转置才可以使用contour函数。

 

实验结果:

当L2正则项参数为0时,cost function的 收敛情况如图:

技术分享

此时分界面对样本分界的情况如图:

技术分享

可以看出,分界面比较复杂,虽然对样本分界的效果做到很精细,但我们做出的分界面是为了对未标注的样本分类,过于复杂的分界面容易产生过拟合现象。

当L2正则项参数为1时,cost function的 收敛情况如图:

技术分享

可以看出,λ=1时收敛更快,说明正则项的系数增大会使模型变得简单,从分界面对样本分界的情况更可以看出来,如图:

技术分享

分界面更圆滑,虽然分界面不是很精细了,也有些误分类,但是模型的简单化可以防止过拟合现象,可能对未训练样本分类更好。

再看下λ=10时的情况:

技术分享

技术分享

 

这时候你可能会想我这时候取的特征中最高是观察值的6次方,我们知道6次方最后得到的分界面肯定是很复杂的,如果我们把特征变的简单一点,比如观察值最高是3次方,这时候最后得到的分界面肯定比之前简单(更极端的是特征就是观察值,也就是说特征是观察值的一次方,前面已经画过了,是一条直线),我们验证一下:

当特征最高是观察值的3次方(λ=0):

收敛情况和分界面对样本分界的情况分别是:

技术分享技术分享

我们看到模型确实更简单了,收敛更快了(相比上面的六次方λ=0的情况)我个人感觉这个相比六次方那个特征假设模型更好,可以比较这个分界曲面的方向,并且比较圆滑,比较美,也比较符合样本的走向。我认为更具有普适性。对未知样本分类效果更好。

deep learning (六)logistic(逻辑斯蒂)回归中L2范数的应用