首页 > 代码库 > 梯度下降算法
梯度下降算法
Logistic回归的理论内容上篇文章已经讲述过,在求解参数时可以用牛顿迭代,可以发现这种方法貌似
太复杂,今天我们介绍另一种方法,叫梯度下降。当然求最小值就是梯度下降,而求最大值相对就是梯度上升。
由于,如果,那么得到
现在我们要找一组,使得所有的最接近,设
现在我们要找一组,使得最小。这就是今天要介绍的梯度下降。
梯度下降的原理是这样的:首先对于向量赋初值,可以赋随机值,也可以全赋为0,然后改变的值,使得
按梯度下降最快的方向进行,一直迭代下去最终会得到局部最小值。即
表示梯度最陡的那个方向,表示步长,也就是说每次向下降最快的方向走多远。进一步有
所以
简化一下就是
随机梯度下降:http://blog.csdn.net/lilyth_lilyth/article/details/8973972
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。