首页 > 代码库 > L1正则与L2正则
L1正则与L2正则
L1正则是权值的绝对值之和,重点在于可以稀疏化,使得部分权值等于零。
L1正则的含义是 ∥w∥≤c,如下图就可以解释为什么会出现权值为零的情况。
L1正则在梯度下降的时候不可以直接求导,在网上找到一种优化方法,不知是否可行
对于目标函数中包含加性的非平滑项并使用梯度下降求解的问题,如果可以使用proximal operator,则解法如下:
假设目标函数为 其中 可导,而 不可导。
则每步迭代更新为
其中,
如果 ,也就是题目中要求的L1范数正则化,则对应的
L2正则的重点在于防止过拟合,没有稀疏特征的效果。L2正则在梯度下降的时候可以直接求导
∥w∥2≤c
L1正则与L2正则
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。