第二章主成分分析第二章主成分分析1.主成分分析的基本原理统计学上PCA的定义为用几个较少的综合指标来代替原来较多的指标而这些较少的综合指标既能尽多地反映原来较多指标的有用信息且相互之间又是无关的。作为一种建立在统计最优原则基础上的分析方法主成分分析具有较长的发展历史。在1901年Pearson首先将变换引入生物学领域并重新对线性回归进行了分析得出了变换的一种新形式。Hotelling于1933年则将其与心理测验学领域联系起来把离散变量转变为无关联系数。在概率论理论建立的同时主成分分析又单独出现由Karhunen于1947年提出随后Loeve于1963年将其归纳总结。因此主成分分析也被称为K-L变换1。PCA运算就是一种确定一个坐标系统的直交变换在这个新的坐标系统下变换数据点的方差沿新的坐标轴得到了最大化。这些坐标轴经常被称为是主成分。PCA运算是一个利用了数据集的统计性质的特征空间变换这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。PCA的基本原理如下给定输入数据矩阵mnX通常mn它由一些中心化的样本数据1miix构成其中nixR且10miix2-1PCA通过式2-2将输入数据矢量ix变换为新的矢量TiisUx2-2其中U是一个nn正交矩阵它的第i列iU是样本协方差矩阵11nTiiiCxxn2-3的第i个本征矢量。换句话说PCA首先求解如下的本征问题第二章主成分分析1...iiiuCuin2-4其中是C的一个本征值iu是相应的本征矢量。当仅利用前面的P个本征矢量时对应本征值按降序排列得矩阵TSUX。新的分量S称为主分量2。最大特征值对应的最大特征向量u就是第一个主成分这个特征向量就是数据有最大方差分布的方向。第二主成分也就是第二大特征值对应的特征向量数据点沿着这个方向方差有第二大变化且这个特征向量与第一个是正交的。实际过程中原始数据如果没有经过中心化即式2-1不成立则也可以对数据进行标准化处理。即对每一个指标分量作标准化处理ijjijjAAXS2-5其中样本均值11mjijiAAm2-6样本标准差2111mjijjiSAAm2-7得到ijmnXx接下来进行以上运算这就是标准的PCA这种标准化方法有效的减少了数据量纲对数据提取的影响3。2.主成分分析的实现步骤基于上述主成分分析的基本原理可以得出主成分分析的计算步骤如下所示1、将所获得的n个指标每一指标有m个样品的一批数据写成一个mn维数据矩阵1111nmmnaaAaa2、对矩阵A作标准化处理即对每一个指标分量进行标准化处理利用公式2-5从而得到ijmnXx。第二章主成分分析3、由式2-8计算样本矩阵的相关系数矩阵11TijnnRXXrm2-84、运用Jacobi迭代方法计算R的特征值1...n即对应的特征向量1...nvv。5、特征值按降序排序通过选择排序得1...n并对特征向量进行相应调整得1...nvv。6、通过施密特正交化方法单位正交化特征向量得到1...n。7、计算特征值的累积贡献率1...nBB根据给定的提取效率p如果tBp则提取t个主成分1...t。8、计算已标准化的样本数据X在提取出的特征向量上的投影YX其中1...t。所得的Y即为进行特征提取后的数据也就是数据降维后的数据。第二章主成分分析第三章基于核的主成分分析1.核方法作为一种由线性到非线性之间的桥梁核方法的相关研究起源于20世纪初叶其在模式识别中的应用至少可以追溯到1964年然而直到最近几年核方法的研究开始得到广泛的重视从而相继提出了各种基于核方法的理论和方法。核方法是一系列先进性数据处理技术的总称其共同特点是这些数据处理方法都应用了核映射。核函数方法的基本原理是通过非线性函数把输入空间映射到高维空间在特征空间中进行数据处理其关键在于通过引入核函数把非线性变换后的特征空间内积运算转换为原始空间的核函数计算从而大大简化了计算量4。从具体操作过程上看核方法首先采用非线性映射将原始数据由数据空间映射到特征空间进而在特征空间进行对应的线性操作如图3-1所示由于采用了非线性映射且这种非线性映射往往是比较复杂的从而大大增强了非线性数据的处理能力。从本质上讲核方法实现了数据空间、特征空间、和类别空间之间的非线性变换。设ix和jx为数据空间中的样本点数据空间到特征空间的映射函数为核函数的基础是实现向量的内积变换ijijijxxKxxxx3-1通常非线性变换函数相当复杂而运算过程中实际用到的核函数K则相对简单的多这正是核方法迷人的地方。第二章主成分分析图3-1核方法框架示意图对于核函数必须满足Mercer条件对于任意给定的对称函数ijKxx它是某个特征空间中的内积运算的充要条件是对于任意的不恒为0的函数gx满足2gxdx有0Kxygxgydxdy3-2式3-2给出了函数成为核函数的充要条件。考虑到核方法的基