流形学习的统一框架及其在模式识别中的应用

摘要

随着信息时代的到来，人们获得了方便的信息提取手段，也面临着复杂的海量数据处理的问题，尤其是面对模式识别、数据挖掘、图像处理与机器学习领域中的海量数据时。这些数据往往都呈现出高维数、高增长率、难以被人感知的特点。因此如何从这些数据中合理有效的找到对人们有用的信息成为亟待解决的问题。 数据降维是一种有效的处理手段。降维就是要在保持数据信息尽量完整的条件下合理的降低数据的维数。通过发现和描述数据内部的规律来降低数据维数，从而满足人们压缩、存储、感知和进一步复杂处理的需要。 传统的降维方法往往都假定数据的分布具有全局线性特性。其中广泛应用的有：独立分量分析（ICA），主成分分析（PCA）和线性判别分析（LDA）等等。显然这种假设大大限制了传统降维方法的能力。当面临的真实数据大多是呈现相互关联，非线性化的结构时，传统的降维方法显得越来越无能为力。 近年来，一类具有代表性的非线性降维算法，如等距流形映射（ISOMAP）、局部线性嵌入（LLE）等方法的提出，引起了人们极大的兴趣。由于这类算法的能够发现嵌入在高维空间中的低维流形结构，所以也把这类算法叫做流形学习算法。 流形学习是一种新的机器学习与认知科学的方法。它的主要目标是发现嵌入在高维数据空间的低维光滑流形表示及其嵌入规则。目前，流形学习算法已经成为降维领域的一个研究热点，并且流形学习算法在高维数据可视化、人脸识别和文本分类等领域取得了一定的效果。 本文针对几种有代表性的流形学习算法进行了深入的研究，主要探讨了流形学习的框架理论相关研究及其在模式识别中的应用。 在理论方面本文做出了两方面的工作。一是构造了一个统一框架，将传统的线性降维算法如主成分分析（PCA）、线性判别分析（LDA）与流形学习算法如ISOMAP、LLE、保近邻嵌入（NPE）、拉普拉斯特征映射（LE）、保局投影（LPP）与边界费舍尔分析（MFA）等统一到这个框架之下。并在提出的统一框架下构造了一个新的流形学习算法——子流形保形分析（Sub—Manifold Preserving Analysis，简称SMPA）。该算法不仅适于数据可视化，也适于模式分类。实验结果表明该算法优于其他算法。二是摆脱传统核方法在核函数上的制约，构造出了数据上的最优流形核矩阵。本文通过将本文框架下的流形学习转变为一个半正定规划问题，通过半正定规划的技术构造最优核矩阵。实验结果显示了该方法的有效性。 在应用方面，本文针对目前流形学习算法在模式识别应用中稳定性较差，识别率不高的情况，结合AdaBoost方法，提出了一套新的最优分类流形子空间的人脸识别方法。另外，本文还提出了一种基于流形分值的特征选择方法。 总的来说，本文的主要贡献包括以下五个方面： 1.本文对几种有代表性的流形学习算法进行了深入的研究，提出了基于度量的流形学习算法的统一框架。该框架能够将现有的降维算法（PCA、LDA等线性算法与ISOMAP、LLE、NPE、LE、LPP、MFA等非线性降维算法）统一起来，更好地解释与比较各个算法的优劣。 2.在本文提出的框架下，能够根据不同的目的衍生出不同的算法。由此本文提出了一个用于数据可视化与分类的新算法——子流形保形分析（SMPA）。该算法旨在进行分类的情况下，保持多类数据中的子流形结构。实验验证了该算法的有效性。 3.在模式分类中，数据的特征极为关键，本文提出了基于本文框架下流形学习的流形分值特征选择。这种特征选择方法在模式识别应用上显示了较好的效果。 4.本文突破传统核方法在核函数上的制约，通过半正定规划（SDP）构造最优流形核矩阵。相关实验结果显示了该方法的有效性。 5.本文结合AdaBoost方法，提出了一套新的最优分类流形子空间的人脸识别方法。该方法不仅能提高识别率，而且具有很好的稳定性和抗光照能力。

目录

文摘

英文文摘

论文说明：索引

声明

第1章引言

1.1研究背景和意义

1.2本文的工作

1.3本文的组织结构

第2章论文基础

2.1流形学习基本概念

2.2流形学习算法综述

2.3流形学习的应用举例

2.4本章小结

第3章流形学习的框架理论

3.1基于度量的最优化降维框架

3.2予流形保形分析

3.3实验结果

3.4本章小结

第4章流形学习的特征选择

4.1特征选择概述

4.2基于流彤分值的特征选择

4.3实验结果

4.4本章小结

第5章基于半正定规划的最优核矩阵

5.1半正定规划概述

5.2核方法概述

5.3 SDE算法简介

5.4半正定规划的子流形保形最优核矩阵算法

5.5实验结果

5.6本章小结

第6章基于AdaBoost的流形学习

6.1 AdaBoost理论简介

6.2线性流形学习

6.3 Boosting最优分类流形空间

6.4实验结果

6.5本章小结

第7章总结与展望

参考文献

致谢

博士期间科研成果与发表论文