首页 > 代码库 > 最小二乘法

最小二乘法

最小二乘法又叫做最小平方法,是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

 

通常情况下最小二乘法用于求回归问题。以简单的线性最小二乘为例,二维平面上给定个点的坐标,确定一条直线,

要求大致符合这个点的走向。

 

我们可以设这条直线的方程为,那么就要使处的函数值与给定的

差达到最小,也就是说,要确定的值,使得

 

         

 

最小。根据这种方法求的值就是典型的最小二乘法。

 

可以看出的一个二元函数,要求的最小值,那么求偏导,有

 

         

 

进一步得到

 

         

 

然后联立两式可以解出,如果方程数比较多,我们可以用高斯消元法来做。另外,最小二乘法的解是唯一的

 

 

 

其它典型问题

 

问题:在一个平面直角坐标系中给定个点,找出一条直线,要求这些点到这条直线距离的平方和

     最小,求出这条直线的方程。

 

问题:在一个三维空间中给定个点,求一过原点的平面,使得这些点到这个平面的距离的平方和

     最小,求出这个平面的方程。(2014年编程之美复赛)