刚开始接触ＰＣＡ的时候，咨询了一个浙大的博士朋友，这朋友告诉我，如果对训练样本进行降维，那么样本的数量必须大于特征的维数，然后我当时就迷惑了，那我怎么办啊，我的人脸表情图像顶多有几百张就算多的了，但是每个图像提取的特征的维数将近有几十万，我不可能找那么多样本去啊。当时有这个迷惑也是因为matlab给出的一个实现在pca降维的函数的说明，就是princomp，这个函数的说明也是用的样本的个数多余特征的维数。后来经过试验是证实，证实了那个浙大的博士的认识是错误的，pca降维肯定不需要样本的个数大于特征的维数，要不然还降维个什么意思。比如我有30*1000000的特征矩阵，那么降维后肯定是每个样本在新的空间中的表示的特征维数不超过30.

 

   

另外一个迷惑，在最初刚开始做的时候，就是为什么这么大的数据，比如30*1000000直接就降到了30*29，这不是减少的数据有点太多了么，会不会对性能造成影响。之所以有这个迷惑，是因为最初并不了解pca的工作方式。 pca并不是直接对原来的数据进行删减，而是把原来的数据映射到新的一个特征空间中继续表示，所有新的特征空间如果有29维，那么这29维足以能够表示非常非常多的数据，并没有对原来的数据进行删减，只是把原来的数据映射到新的空间中进行表示，所以你的测试样本也要同样的映射到这个空间中进行表示，这样就要求你保存住这个空间坐标转换矩阵，把测试样本同样的转换到相同的坐标空间中。

 

    有些同学在网上发帖子问对训练样本降维以后，怎么对测试样本降维，是不是还是使用princomp这个函数进行降维，这个是错误的。如果你要保证程序运行正常，就要保证训练样本和测试样本被映射到同一个特征空间，这样才能保证数据的一致性。

 

 

网上有不同的pca降维的代码，每个代码也实现的不一样，那么对于同一个数据是否是pca降维以后都是获得相同的数据呢，也就是说不管你用哪种方式进行pca降维，不管你是从哪里下载到的或者自己根据算法实现的pca降维，同样的矩阵降维以后的数据是否一致？这个我个人认为，不同的算法最后导致的pca降维的数据肯定不一致。因为pca降维以后，只是把原来的数据映射到新的特征空间，所以如果你的算法不同，那么选择的协方差矩阵肯定就不同，最后获得的转换矩阵肯定也不一样。那么训练样本和测试样本和不同的转换矩阵相乘以后最终肯定会获得不同的降维坐标。所以使用不同的算法应该最后不会有相同的坐标结果，这个也是我一直实验的结果，我也使用了matlab自带的princomp降维，并且使用相同的数据使用网上下载的一些降维方法进行降维，得到的数据都不一致。

 

比如说princomp这个matlab自带的函数，在降维之前就将每一个样本减去了一个所有样本的平均值，也可能有很多样本没有减去平均值。princomp这里使用一行表示一个样本，每行包括这个样本的所有的特征值。而网上大部分都是每一列表示一个样本，这样这一列的所有行都表示这个样本的特征值。网上的程序使用列表示样本是有一定好处的，比如我的样本是1000000*30，总共有30个训练样本，每个样本的特征值个数是1000000，那么这个矩阵获得的协方差矩阵是30*30，计算起来非常的方便，不想30*1000000这样的矩阵获得到的协方差矩阵式1000000*1000000，直接就内存溢出了，不过matlab有自己的实现方式，巧妙的解决了这个问题。

 

 

 

我在网上看了很多pca降维的例子，都大同小异，原理差不多，都是活的原来矩阵的协方差矩阵，然后计算协方差矩阵的特征值和特征向量，最后通过特征向量的根据特征值由大到小的排序进行KL变换神马的获得一个转换矩阵。

 

 

　PCA在matlab中的实现举例　　以下资料来自matlab的help，翻译和注解部分由笔者添加：(重点部分添加了翻译！)　　princomp-----函数名称　　Principal component analysis (PCA) on data　　Syntax------函数调用语法　　[COEFF,SCORE] = princomp(X)　　[COEFF,SCORE,latent] = princomp(X)　　[COEFF,SCORE,latent,tsquare] = princomp(X)　　[...] = princomp(X,‘econ‘)　　Description -----函数描述　　COEFF = princomp(X) performs principal components analysis (PCA) on the n-by-p data matrix X, and returns the principal component coefficients, also known as loadings. Rows of X correspond to observations, columns to variables. COEFF is a p-by-p matrix, each column containing coefficients for one principal component. The columns are in order of decreasing component variance.　　在n行p列的数据集X上做主成分分析。返回主成分系数。X的每行表示一个样本的观测值，每一列表示特征变量。COEFF是一个p行p列的矩阵，每一列包含一个主成分的系数，列是按主成分变量递减顺序排列。(按照这个翻译很难理解，其实COEFF是X矩阵所对应的协方差阵V的所有特征向量组成的矩阵，即变换矩阵或称投影矩阵，COEFF每列对应一个特征值的特征向量，列的排列顺序是按特征值的大小递减排序，后面有具体例子解释，见说明1)　　princomp centers X by subtracting off column means, but does not rescale the columns of X. To perform principal components analysis with standardized variables, that is, based on correlations, use princomp(zscore(X)). To perform principal components analysis directly on a covariance or correlation matrix, use pcacov.　　计算PCA的时候，MATLAB自动对列进行了去均值的操作，但是并不对数据进行规格化，如果要规格化的话，用princomp(zscore(X))。另外，如果直接有现成的协方差阵，用函数pcacov来计算。　　[COEFF,SCORE] = princomp(X) returns SCORE, the principal component scores; that is, the representation of X in the principal component space. Rows of SCORE correspond to observations, columns to components.　　返回的SCORE是对主分的打分，也就是说原X矩阵在主成分空间的表示。SCORE每行对应样本观测值，每列对应一个主成份(变量)，它的行和列的数目和X的行列数目相同。　　[COEFF,SCORE,latent] = princomp(X) returns latent, a vector containing the eigenvalues of the covariance matrix of X.　　返回的latent是一个向量，它是X所对应的协方差矩阵的特征值向量。　　[COEFF,SCORE,latent,tsquare] = princomp(X) returns tsquare, which contains Hotelling‘s T2 statistic for each data point.　　返回的tsquare，是表示对每个样本点Hotelling的T方统计量(我也不很清楚是什么东东)。　　The scores are the data formed by transforming the original data into the space of the principal components. The values of the vector latent are the variance of the columns of SCORE. Hotelling‘s T2 is a measure of the multivariate distance of each observation from the center of the data set.　　所得的分(scores)表示由原数据X转变到主成分空间所得到的数据。latent向量的值表示SCORE矩阵每列的方差(见说明2)。Hotelling的T方是用来衡量多变量间的距离，这个距离是指样本观测值到数据集中心的距离。　　When n <= p, SCORE(:,n:p) and latent(n:p) are necessarily zero, and the columns of COEFF(:,n:p) define directions that are orthogonal to X.　　[...] = princomp(X,‘econ‘) returns only the elements of latent that are not necessarily zero, and the corresponding columns of COEFF and SCORE, that is, when n <= p, only the first n-1. This can be significantly faster when p is much larger than n.　　当维数p超过样本个数n的时候，用[...] = princomp(X,‘econ‘)来计算，这样会显著提高计算速度　　Examples--举例　　(上面说了那么多废话，看了还不一定懂，还不如举例容易理解，下面样本数据集为ingredients，这个数据集是matlab自带的)　　Compute principal components for the ingredients data in the Hald data set, and the variance accounted for by each component.　　load hald; %载入matlab内部数据　　[pc,score,latent,tsquare] = princomp(ingredients); %调用pca分析函数　　ingredients,score,pc,latent,tsquare %显示得到的结果　　ingredients =　　7 26 6 60　　1 29 15 52　　11 56 8 20　　11 31 8 47　　7 52 6 33　　11 55 9 22　　3 71 17 6　　1 31 22 44　　2 54 18 22　　21 47 4 26　　1 40 23 34　　11 66 9 12　　10 68 8 12　　score =　　36.8218 -6.8709 -4.5909 0.3967　　29.6073 4.6109 -2.2476 -0.3958　　-12.9818 -4.2049 0.9022 -1.1261　　23.7147 -6.6341 1.8547 -0.3786　　-0.5532 -4.4617 -6.0874 0.1424　　-10.8125 -3.6466 0.9130 -0.1350　　-32.5882 8.9798 -1.6063 0.0818　　22.6064 10.7259 3.2365 0.3243　　-9.2626 8.9854 -0.0169 -0.5437　　-3.2840 -14.1573 7.0465 0.3405　　9.2200 12.3861 3.4283 0.4352　　-25.5849 -2.7817 -0.3867 0.4468　　-26.9032 -2.9310 -2.4455 0.4116　　pc =　　-0.0678 -0.6460 0.5673 0.5062　　-0.6785 -0.0200 -0.5440 0.4933　　0.0290 0.7553 0.4036 0.5156　　0.7309 -0.1085 -0.4684 0.4844　　latent =　　517.7969　　67.4964　　12.4054　　0.2372　　tsquare =　　5.6803　　3.0758　　6.0002　　2.6198　　3.3681　　0.5668　　3.4818　　3.9794　　2.6086　　7.4818　　4.1830　　2.2327　　2.7216　　%下面我们来做一个验证　　%下面为计算ingredients协方差矩阵：　　cov_ingredients=cov(ingredients)　　cov_ingredients =　　34.6026 20.9231 -31.0513 -24.1667　　20.9231 242.1410 -13.8782 -253.4167　　-31.0513 -13.8782 41.0256 3.1667　　-24.1667 -253.4167 3.1667 280.1667　　%下面为计算ingredients所对应的协方差矩阵(也就是cov_ingredients矩阵)的特征值和特征　　%向量，下面的矩阵V为特征向量，D为特征值(对比上面的latent)组成的对角线矩阵　　[V,D] = eig(cov_ingredients)　　V =　　0.5062 0.5673 0.6460 -0.0678　　0.4933 -0.5440 0.0200 -0.6785　　0.5156 0.4036 -0.7553 0.0290　　0.4844 -0.4684 0.1085 0.7309　　D =　　0.2372 0 0 0　　0 12.4054 0 0　　0 0 67.4964 0　　0 0 0 517.7969　　%说明1：对比一下矩阵V和矩阵pc，现在很容易明白为什么COEFF是按列递减顺序排列的　　% 了！(V中第三列与pc中倒数第三列差个负号，学过线性代数的人都知道这没问题)　　%下面再验证一下说明2　　diag(cov(score))　　ans =　　517.7969　　67.4964　　12.4054　　0.2372　　%说明2：以上结果显示latent确实表示SCORE矩阵每列的方差，517.7969表示第一列方差　　下面做图表示结果：　　上面说了半天还没有达到我们终极想要的，其实我们要的是由函数[pc,score,latent,tsquare] = princomp(ingredients)它所产生的pc和latent。由latent可以算出降维后的空间所能表示原空间的程度，只要这个累积的值大于95%就行了。　　The following command and plot show that two components account for 98% of the variance:　　cumsum(latent)./sum(latent)　　ans =　　0.86597　　0.97886　　0.9996　　1　　%由以上ans值可以看出前两个主成分就能表示原空间的97.886%,所以取pc中的前两列可　　%做主成分变换矩阵tranMatrix = pc(:,1:2)。则从原来的4维空间降到2维空间。对任意一个　　%原空间样本,例如a=(7 ,26 ,6 ,60)变到低维空间的表达式为a1 = a*tranMatrix。(当然你也可　　%以取pc中的前三列，由原来的4维空间变到3维空间)　　biplot(pc(:,1:2),‘Scores‘,score(:,1:2),‘VarLabels‘,...　　{‘X1‘ ‘X2‘ ‘X3‘ ‘X4‘})

 

上面这个matlab函数的说明呢，只是引用百度百科，也可以看看matlab的函数说明，但是多少还是有点难懂。

我把我的理解简单的说说。

 

[COEFF, SCORE, LATENT, TSQUARED] = PRINCOMP(X)

上面这个函数，coeff矩阵是返回的转换矩阵，也就是把样本转换到新的空间中的准换矩阵，这个准换矩阵式比较大的，比如你的降维矩阵式30*100000，那么这个准换矩阵一般都是10000*29的维数。

score是原来的样本矩阵在新的坐标系中的表示，也就是原来的样本乘上转换矩阵，但是还不是直接乘，要减去一个样本的均值。将原来的数据转换到新的样本空间中的算法是这样实现的：

x0 = bsxfun(@minus,x,mean(x,1));

score = x0 * coeff;

 

然后就会得到和[COEFF, SCORE, LATENT, TSQUARED] = PRINCOMP(X) 输出一样的score数据。 同时这个也是原来的样本矩阵降维后的结果，如果使用降维后的数据就使用这个数据。一般情况下，如果你的每个样本的特征维数远远大于样本数，比如30*1000000的维数,princomp要加上‘econ‘, 就是princomp(x,‘econ‘)这样使用，可以很大程度的加快计算速度，而且不会内存溢出，否则会经常报内存溢出。

 

[...] = PRINCOMP(X,‘econ‘) returns only the elements of LATENT that are
    not necessarily zero, i.e., when N <= P, only the first N-1, and the
    corresponding columns of COEFF and SCORE.  This can be significantly
    faster when P >> N.

 

latent是返回的按降序排列的特征值，根据这个你可以手动的选择降维以后的数据要选择前多少列。

cumsum(latent)./sum(latent)

，通过这样计算特征值的累计贡献率，一般来说都选择前95%的特征值对应的特征向量，还是原来的矩阵30*1000000，如果你计算得到前25个特征值的累计贡献率已经超过99.9%，那么就完全可以只要降维后的数据的前25列。

 

tsquared是个什么东西我也不知道。。。不过貌似很少有人能用到，网络上也没有神马资料，各位如果需要用的再查阅吧，一般情况下也用不到。

 

 

如果你需要对测试样本降维，一般情况下，使用matlab自带的方式，肯定需要对测试样本减去一个训练样本均值，因为你在给训练样本降维的时候减去了均值，所以测试样本也要减去均值，然后乘以coeff这个矩阵，就获得了测试样本降维后的数据。比如说你的测试样本是1*1000000，那么乘上一个1000000*29的降维矩阵，就获得了1*29的降维后的测试样本的降维数据。

 

princomp(x)使用的行表示一个样本，每行的所有的列数据都是这个样本的特征值。降维以后比如是30*29，那么每一行就是降维以后的数据。每个样本有29个特征值。

 

 

 

下面是来自mpb同学的一个自实现的例子，很牛的一个人，我们本科同学。

原文地址：http://blog.csdn.net/mpbchina/article/details/7384425

 

下面引用原文内容：

得到的均值图像mean_face：

前19个最大主元对应的“特征脸”：

测试：
测试用样本：

 

重建出的测试样本与原样本的对比：

 

四副测试样本的重建误差分别为：
1.4195e+003
1.9564e+003
4.7337e+003
7.0103e+003

可见测试样本为人脸的样本的重建误差显然小于非人脸的重建误差。

 上面的降维的例子中，每一列表示一个样本，这样就一共有4096*20的待降维矩阵，然后对这个矩阵降维，请注意，如果采用列表示一个样本，那么获得的降维矩阵，是一个4096*19的矩阵，然后用这个降维矩阵对测试样本和训练样本降维，我们的测试样本是4096*1的矩阵，降维的时候这样：

Y_test=UL‘*X_test;  

 

UL是计算获得降维矩阵，UL‘ （对UL进行转至）获得的19*4096的矩阵，19*4096 * 4096*1，就获得了19*1的降维后的数据。

 

如果是使用matlab自带的princomp进行降维，那么得到的coeff就是降维矩阵，使用测试样本,这里的训练样本和测试样本都要转换成行向量，每一行表示一个样本，测试样本是1*4096，降维矩阵是 4096*29，那么就是  用待降维的样本 x乘上降维矩阵 ， x * coeff ,注意这两种不同的样本表示方法中降维的使用，降维矩阵的不同位置。这样降维后获得1*4096 * 4096*29 = 1*29 的降维后的数据。

 

通过 上面的自己实现的pca降维的代码，还可以对降维后的数据进行重建，获得重建后的图像，上面的程序中已经给出了。下面给出一个通过princomp降维后再对降维后的数据进行重建的程序。

 

 

上面的程序关键处都有注释，应该挺好理解的。

 

 

关于网络上的一些解释个人理解（仅供大家参考理解）

1. 

我的个人见解：这篇文章中的解释挺靠谱的，可以用来参考。第二点其实matlab的输出结果score这个数据已经是降维后的数据，不过大家可以根据自己的需要取前多少列的数据。

 

 

 

原文地址：http://www.ilovematlab.cn/thread-54600-1-1.html

 

部分原文：

回复 8# 5342245 的帖子                                                                                                                                                                                                                                                                                                                        设原始数据为X，先不做任何预处理。
[coef,score,latent,t2] = princomp(X);
则那些参数的底层算法大体过程如下：
x0 = bsxfun(@minus,X,mean(X,1)); %x0为将X去均值后的数据。
[coef,ignore] = eig(x0‘*x0); 这就是coef的由来。  【当然最终的还有排序什么乱七八糟的。。】
scroe = x0*coef % 这就是score的由来，就是一个简单的线性变换，将原来的X的坐标转换到主成分空间中的坐标。仅此而已

则模型为从原始数据出发：
score = bsxfun(@minus,X,mean(X,1))*coef;

逆变换：
X = bsxfun(@plus,score*inv(coef),mean(X,1))


以上这些你可以自己验证，看是否正确。
关于你的第三问。对于每一个主成分，就看coef的相应的列就能知道原始的变量那个对该主成分贡献大了啊。。

上面是没有预处理的。如果加了可逆的预处理。则原始数据亦可从预处理后的数据表示出。进而 bla bla....
===============这回够通俗易懂吧。。O(∩_∩)O
PS：pca算法流程，你熟悉吗？只要知道那个算法过程。这些都不难理解啊。。
建议您看看书把pca算法流程再过一遍。。否则别人再怎么说也没用。。。

 

我的个人见解：

这里我想说的是，再对测试样本进行降维的时候，一定要减去训练样本的均值，使用训练样本得到的转换矩阵，保证训练样本和测试样本转换到相同的样本空间中，这样才有意思。大家有时间可以去看看英文的资料，说的都比较详细。再用测试样本减去均值以后，就可以进行转换了。

 

很多同学可能在开始的时候和我一样，都是不知道如果对测试样本进行降维，很多人就选择了还是使用princomp这个函数处理测试样本，那么这样测试样本被映射到一个新的空间中，和原来的训练样本完全不是在一个空间，一点意义都没有，还是要使用测试样本减去均值，然后乘上训练样本降维的时候获得降维矩阵，转换到相同的空间中。

 

 

 

基本的对pca的认识就都说完了，比较乱，没有条理，不过如果认真看下来的话，应该还是可以理解的。目前网上没有关于pca的综合的介绍个注意事项，说以我就把我的经验和大家分享一下，还望文明转载，转载声明出处。我也没有对pca进行详细的学习，肯定有不正确的地方，还请大家多多指教，共同探讨。