无监督与半监督降维算法研究

摘要

在机器学习和模式识别领域，会不可避免地遇到很多高维数据，从而出现“维数灾难”。为了避免“维数灾难”问题，需要对高维数据进行特征降维。特征降维是指通过线性或者非线性映射把高维数据投影到一个低维的空间，同时揭示隐藏在数据中的内在结构信息。本文主要研究基于无监督和半监督的特征降维算法。
　　 首先，在无监督降维方面，高斯过程隐变量模型是一种有效的方法。它提供了一个从低维隐变量空间到高维观测数据空间的光滑映射。这种光滑映射就可以使得在隐空间中相距较近的样本点，经过映射到观测数据空间后，依然相距较近。然而，它并不能保证在数据空间相距较近的样本点经该映射降维到隐空间后依然相距较近。为了解决高斯过程隐变量模型的这一不足，提出了一种基于局部保持的隐变量模型算法。该算法能使得在数据空间相距较近的样本点经过降维后，在隐空间中依然相距较近。在几类数据库上进行的测试结果表明了该算法的有效性。
　　 其次，在半监督降维方面，除了可以知道样本的类标信息，还有另外一种监督信息，即成对约束信息。成对约束是指两个样本要么属于同一类，要么不属于同一类。但是目前利用成对约束进行降维的算法只是简单的利用约束关系，并没有挖掘成对约束关系中的本质特性，比如传递性和排斥性。因此，提出了两种半监督降维算法：一种是基于整体保持的半监督降维算法，该算法不仅利用了约束关系的传递性和排斥性，而且还保持数据集所在低维流形的整体结构；另一种是基于局部保持的半监督降维算法，该算法除了利用了成对约束的传递性和排斥性外，还可以保持数据集所在低维流形的局部结构。在几类数据库上实验表明，该算法要优于其他的降维算法。

目录

文摘

英文文摘

声明

第一章绪论

§1.1研究背景与意义

§1.2研究进展及状况

§1.3论文研究内容及章节安排

第二章特征降维和模式分类

§2.1引言

§2.2降维的定义

§2.3常见的降维算法

2.3.1 主成分分析方法

2.3.2线性判别分析

2.3.3局部线性嵌入

2.3.4局部保持映射

§2.4 K-近邻分类器

§2.5本章小结

第三章基于局部保持的隐变量模型

§3.1引言

§3.2高斯过程隐变量模型

3.2.1 高斯过程

3.2.2概率的主成分分析

3.2.3 高斯过程隐变量模型

§3.3基于局部保持的隐变量模型

§3.4实验结果与分析

§3.5本章小结

第四章基于成对约束的半监督降维算法*

§4.1引言

§4.2成对约束的定义

§4.3判别成分分析

§4.4改进的成对约束降维算法

4.4.1基于整体保持的成对约束降维算法

4.4.2基于局部保持的成对约束降维算法

§4.5实验结果与分析

§4.6本章小结

第五章总结与展望

§5.1总结

§5.2展望

致谢

参考文献

攻读硕士期间发表的论文与参加的科研项目