首页 > 代码库 > 正则化和归一化

正则化和归一化

http://blog.sina.com.cn/s/blog_4a1853330102w2en.html

http://blog.csdn.net/oppoa113/article/details/22102103

正则化,归一化(标准化和正规化):对数据进行预处理的两种方式,目的是让数据更便于计算和获得更加泛化的结果,但并不改变问题的本质。

 

正则化:要求一个逻辑回归问题,假设一个函数,覆盖所有可能:y=wx,其中w为参数向量,x为已知样本的向量,用yi表示第i个样本的真实值,用f(xi)表示样本的预测值,从而确定损失函数L(yi,f(xi))=yi?sigmoid(xi)。该损失函数代表一种误差。对于该模型y=wx的所有样本的损失平均值,我们称为经验损失(empirical loss)。

  显然,经验损失(或称经验风险)最小化(empirical risk minimization)就是求解最优模型的原则。为了达到这个目的,模型的设定会越来越复杂,最后可能造成模型只适用于当前的样本集,即出现过拟合(over fitting)问题。

  为了解决过拟合问题,通常有两种办法,第一是减少样本的特征维度;第二就是正则化(又称惩罚“penalty”)。正则化的一般形式是在整个平均损失函数后增加一个正则项(常见L2范数正则化,也有其他形式的正则化,它们的作用也不同。详见http://blog.csdn.net/zouxy09/article/details/24971995/)

  λ=0代表不进行正则化;=1通常代表合适的惩罚;举个例子=100的时候,会因为过度惩罚而造成“欠拟合”问题

   

归一化:主要看模型是否具有伸缩不变性。有些模型在各个维度进行不均匀伸缩后,最优解和原来不等价,例如SVM。

    对于这样的模型,除非本来各维数据的分布范围就比较接近,否则必须进行标准化,以免模型参数被分布范围较大或较小的数据支配。

    有些模型在各个维度进行不均匀伸缩后,最优解和原来等价,例如logistic regression(逻辑回归)。

    对于这样的模型,是否标准化理论上不会改变最优解。但是,由于实际求解往往使用迭代算法,如果目标函数的形状太扁,迭代算法可能收敛得很慢甚至不收敛。所以对于具有伸缩不变性的模型,最好也进行数据标准化。

https://www.zhihu.com/question/20455227

正则化和归一化