原文：http://blog.csdn.net/vivihe0/article/details/33319969

我们说过，如何在实际应用中建模，我们不可能知道产生数据的真实函数是什么，那么如何评价模型的好坏呢？由于我们拟合曲线的目标是对新的x值做出好的预测。为了检验我们建立的模型的好坏，我们需要一个测试集，这个集合与我们训练模型的训练集相互独立。也就是说，测试集中的样本数据必须是在训练模型的时候，模型没有见过的样本数据。已经训练好的模型在遇见新的样本时的表现被称作泛化性能。

现在我们还是利用函数y=sin(2*pi*x)来产生数据。我们分别产生两个数据集，训练集和测试集。训练集的产生过程与上面的例子一样，包含11个样本点；测试集是在0到1的范围内随机产生100个输入样本x值，然后用与训练集一样叠加噪声项，产生目标输出值t。我们用1阶到10阶的多项式分别拟合11个训练集样本，再用拟合的模型在测试集上测试。这样我们可以得到模型在训练集和测试集上的误差大小。

我们用均方误差（mean square error）来定义误差的大小，它是残差平方和除以样本数。这样模型在不同样本数的样本集上的误差就有了可比性。相应的MATLAB代码如下，结果见图。

[plain] view plaincopy

1. %产生训练集11个样本  
2. xTrain = 0:0.1:1;  
3. tTrain = sin(2*pi*xTrain) + normrnd(0, 0.3, 1, 11);  
4.   
5. % 产生测试集100个样本  
6. xTest = unifrnd(0, 1, 1, 100);  
7. tTest = sin(2*pi*xTest) + normrnd(0, 0.3, 1, 100);  
8.   
9. %用训练集拟合10个不同阶数的多项式，其系数保存系数在pCell中  
10. polyCell = cell(10, 1);  
11. for i = 1 : 10  
12.     polyCell{i} = polyfit(xTrain, tTrain, i);  
13. end  
14.   
15. %计算模型在训练集和测试集上的误差  
16. rmsTrain = zeros(1, 10);  
17. rmsTest = zeros(1, 10);  
18. for i = 1 : 10  
19.     e = polyval(polyCell{i}, xTrain) - tTrain;  
20.     rmsTrain(i) = e*e‘/11;  
21.     e = polyval(polyCell{i}, xTest) - tTest;  
22.     rmsTest(i) = e*e‘/100;  
23. end  
24.   
25. %绘图  
26. plot([1:10], rmsTrain, ‘-ob‘, ‘LineWidth‘, 3, ‘MarkerSize‘, 10)  
27. hold on  
28. plot([1:10], rmsTest, ‘-or‘, ‘LineWidth‘, 3, ‘MarkerSize‘, 10)  
29. legend({‘训练集‘, ‘测试集‘},  ‘fontsize‘, 15);  
30. xlabel(‘模型阶数‘, ‘fontsize‘, 15)  
31. ylabel(‘均方误差‘, ‘fontsize‘, 15)  

从图中可以看出，随着阶数的增加，模型在训练集上的均方误差是逐渐下降的，但是在测试集上的误差在3阶达到最小值之后就逐渐上升。在阶数达到9阶时，模型在训练集上的均方误差达到了0，也就是拟合的曲线完美地穿过了训练样本点，但是模型在测试集上的表现却很差。也就是说，当模型过分地复杂时，模型在训练集上完美的拟合不能保证其具有好的泛化性能。

我们也可以观察不同阶数的多项式模型的系数。在上面一段代码中，模型的系数被保存在元胞数组pCell中，所以可以在MATLAB命令行中用以下命令查看第i个多项式的系数。

polyCell{i}

例如输入：

polyCell{10}

你可以看出当多项式的阶数为10时，模型的系数很大。通过这些很大的系数，模型的曲线完美地穿过了10个样本点，但是在这些样本点周围的位置，曲线的波动性很大，如图1第4个子图所示。也就是说，多项式模型的阶数越大，模型越灵活，拟合的曲线越容易适应随机的噪声。