首页 > 代码库 > 奇异值分解(SVD)的之低秩近似和特征降维

奇异值分解(SVD)的之低秩近似和特征降维

我们在这一篇《模式识别、推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 》中详细介绍了矩阵奇异值分解的数学证明,我们沿用这一篇的博文的符号,继续讨论这一章的内容。

矩阵的奇异值分解定理:

设矩阵,秩为,则该矩阵可以分解为:


也可以表示为:

其中:为矩阵(或者)的非零向量,的对应特征向量,的对应特征向量,


SVD的第一个作用之低秩近似(Low Rank Approximation):

即用矩阵近似


SVD的第二个作用之特征降维(Dimensionality Reduction):

假设特征是按列存储的,即:


其中

我们在低秩近似中已经近似表示了。

则根据分块矩阵的乘法,我们很容易得到:

令:

因为,是相互正交的,所以根据

显然可以得出,可以近似由,张成,所以我们得出结论:

m维的,可以降到维的