首页 > 代码库 > 《机器学习基石》---线性回归

《机器学习基石》---线性回归

1 模型定义

技术分享

错误衡量使用平方错误:

技术分享 

注:这里Eout计算是在考虑噪声的情况下,可以将x和y看作满足一个联合概率分布。

 

2 线性回归算法

先把训练集误差Ein推导成矩阵形式:

技术分享

即:

技术分享

可以证明Ein关于w是连续,可微的凸函数,因此最小的点就在梯度为0的地方,那么剩下的问题就是来求梯度为0的w:

 

《机器学习基石》---线性回归