习题9-2

[simo-an]

习题9-2 证明对于 𝑁 个样本（样本维数𝐷 > 𝑁） 组成的数据集， 主成分分析的有效投影子空间不超过𝑁 − 1维

解答

子空间分析

把高维空间中松散分布的样本，通过线性或非线性变换压缩到一个低维的子空间中，在低维的子空间中使样本的分布更紧凑、更有利于分类，同时使计算复杂度减少。

PCA的思想为：

1. 将多个变量通过线性变换以选出较少个重要变量，这些新变量尽可能保持原有的信息（可以达到去噪的效果）（亦即：寻找投影映射P，使得样本从D维降到D'维（D>D'） ,同时最大化投影方差）

有效投影子空间

这一题想了很久，没有得到答案，这里记录一下想法

对于样本构成的矩阵 X 为 D×N 的矩阵，投影矩阵 W 为 D×D' 的矩阵，投影后的样本 X' = WTX 为 D'×N 的矩阵。

当 D' > N 时，存在行向量可被其他行向量线性表出。

当 D' = N 时，感觉是可以的。。。。。