首页 > 代码库 > L1正则与L2正则

L1正则与L2正则

L1正则是权值的绝对值之和,重点在于可以稀疏化,使得部分权值等于零。

L1正则的含义是 wc,如下图就可以解释为什么会出现权值为零的情况。

 

L1正则在梯度下降的时候不可以直接求导,在网上找到一种优化方法,不知是否可行 

对于目标函数中包含加性的非平滑项并使用梯度下降求解的问题,如果可以使用proximal operator,则解法如下:

假设目标函数为 技术分享 其中 技术分享 可导,而 技术分享 不可导。
则每步迭代更新为 技术分享
其中,技术分享
如果 技术分享,也就是题目中要求的L1范数正则化,则对应的技术分享
技术分享

 

L2正则的重点在于防止过拟合,没有稀疏特征的效果。L2正则在梯度下降的时候可以直接求导

w2c

 

L1正则与L2正则