又查查了回归分析的基本概念，这里记录一下，年纪大了容易忘lol

线性回归模型Linear Regression Models：

例如数据有n个观察结果（yi，xi）i从1到n，yi是这个观察的响应标量值（a scalar response），xi是一组含p个预言值（predictor）的向量

在线性回归分析中就可以表示为

yi=xi的转至矩阵×β+εi，这里β也是一个含p个未知参数的向量，叫做系数（coefficient），εi为误差

coefficient和covariance的区别：并不是说这里他们有什么联系，只不过看到coefficient这个词的时候我总是能想到covariance这个字，完全出于我自己的好奇才将他们拿出来做比较，coefficient就是系数，其实就是一个多元函数里面矩阵X的系数，而协方差（covariance）是一个概率与统计里面的概念，代表两个任意变量之间的一起变化的关联度，如果一个变量的数值变大另一个也变大，一个变小也导致另一个变小，那么他们的covariance为正，独立变量间的covariance为0

整个模型也可以表达为

y=Xβ+ε，这里y，β与ε都是含n个元素的向量，而X是n×p的矩阵

有了函数就可以研究究竟什么β可以使得the sum of squares residual（SSR）最小，也就是应用最小二乘法的地方，这里首先假设b是β一个候选值，那么S（b）=sum（square(yi-xi的转至×b)）从i=1到n = (y-Xb)的转至×（y-Xb）（根据线性代数），通过对b求导来找到最小值，此处省略1万字，求出X的摩尔-彭若斯广义逆矩阵，再往下我的数学水平就有点捉急了,也许可以参照梯度下降法（gradient descent），我看斯坦佛那个教machine learning的教授在他将多元线性回归的时候有提到，反正这也是OLS算法时间复杂度的依据

scikit-learn学习笔记（2）