线性回归

优点：结果易于理解，计算上不复杂

缺点：对非线性的数据拟合不好

适用数据类型：数值型和标称型数据

回归的目的就预测数值型的目标值。最直接的办法就是依据输入写一个目标值的计算公式。这个计算公式就是所谓的回归方程(regression equation)，其中的参数就是回归系数，求这些回归系数的过程就是回归。

　　说道回归，一般都是指线性回归（linear regression）。

一元线性回归的矩阵形式可以写成，其中 是噪声，b是回归系数（斜率）

或者 ，其中y、X、a、都是n维向量，而b是一个标量。因为此时特征就是一个。

如果变成了d维的特性，那么b就是一个由回归系数组成的d维向量，X变成了n×d的矩阵，此时可以写成

或者 ，其中X是n×（d+1）的矩阵（第一列元素都是1，其余列都是x1...xn），w是（d+1）×1的向量

机器学习——预测数值型数据：回归