基于统计学习的模式识别几个问题及其应用研究

摘要

基于统计学习的模式识别方法是人工智能的一个重要研究领域。目前,统计模式识别已经得到了较深入的研究,一些相关技术成果已成功高效地应用于各种不同的领域。虽然如此,其中依然面临着许多的挑战,许多问题都还需要进步的深入探索和研究,特征降维和核方法就是其中倍受关注的两个重要主题。本课题就其中的几个关键挑战进行了相关的研究,所研究内容主要由四个部分,分述如下。
　　 第一部分由第二章组成。在这一部分中我们针对监督局部保持特征提取SLPP算法的小样本问题,提出了推广的监督局部保持特征提取GSLPP算法。在小样本情况下,GSLPP算法定义的优化问题可以等价的转换到一个低维空间中来求解,从而有效的克服了小样本问题。而且,在大样本情况下GSLPP算法等价于SLPP算法。
　　 第二部分由第三章和第四章组成。在这一部分内容中,我们主要讨论了最小类方差支撑向量机MCVSVM算法的改进问题。针对MCVSVM缺少考虑数据的局部结构信息的问题,在第三章中我们提出了最小局部保持类方差支撑向量机MCLPVSVM算法。该算法不但继承了传统支撑向量机SVM和MCVSVM的优点,同时又充分利用了数据的内在的几何结构信息,从而实现了泛化能力的进一步提高。同时在这一部分内容的第四章中,针对MCVSVM算法在小样本数据情况下仅利用了类内散度矩阵非零空间中的信息的问题,我们讨论了利用类内散度矩阵零空间中的信息来提高其泛化能力的问题,即首先在零空间中建立一种新的分类器-NSC,然后再把MCVSVM和NSC进行融合,从而进一步提出了集成分类器-EC。在EC算法中,综合利用类内散度矩阵非零空间和零空间中的信息来进一步提高分类性能,表现出了更强的泛化能力。
　　 第三部分由第五章组成。在这一部分内容中,我们依据支撑向量回归SVR回归算法可以通过构建SVM分类问题实现的基本思想,把MCVSVM分类算法推广到回归估计中,进而提出了最小方差支撑向量回归MVSVR回归算法。MVSVR继承了MCVSVM鲁棒性和泛化能力强的优点,同时其还可转化为一个标准的SVR问题来求解,并且在散度矩阵奇异情况下可以等价转换到新的数据空间中求解。
　　 第四部分由第六章组成。在这一部分内容中我们从理论上详细分析了支撑向量数据域描述SVDD算法的原始优化问题最优解的性质。我们首先把SVDD定义的原始优化问题等价转化为一个凸约束二次优化问题,然后从理论上证明了根据优化问题最优解所构建的超球圆心具有唯一性,然而超球半径在一定条件下却存在不唯一性,并且给出了半径存在不惟一性的充分必要条件。我们还从对偶优化问题的角度分析了超球的圆心和半径性质,并且给出了SVDD算法中在根据优化问题最优解构建超球半径不唯一情况下计算超球半径方法。
　　 本文的主要内容概括起来讲,第一部分探讨了特征降维问题,第二至第四部分探讨了核方法问题。

目录

文摘

英文文摘

第一章 绪论

1.1 课题研究的背景

1.1.1 特征降维

1.1.2 核方法

1.2 模式识别中的一些问题

1.3 课题的主要研究内容和本文组织

第二章 推广的监督局部保留投影算法

2.1 引言

2.2 局部保留投影算法和监督局部保留投影算法

2.2.1 局部保留投影算法

2.2.2 监督局部保留投影算法

2.3 推广的监督局部保留投影算法

2.3.1 推广的监督局部保留投影算法

2.3.2 推广的监督局部保留投影算法与监督局部保留投影算法的联系

2.3.3 小样本情况下推广的监督局部保留投影算法讨论

2.4 参数问题讨论

2.5 实验研究

2.5.1 数据可视化

2.5.2 人脸识别

2.6 本章小结

第三章 最小类局部保持方差支撑向量机

3.1 引言

3.2 支撑向量机与最小类方差支撑向量

3.2.1 支撑向量机

3.2.2 最小类方差支撑向量

3.3 最小类局部保持方差支撑向量机

3.3.1 类内局部保持散度矩阵

3.3.2 最小类局部保持方差支撑向量机

3.3.3 小样本情况下的最小类局部保持方差支撑向量机

3.4 非线性最小类局部保持方差支撑向量机

3.5 讨论

3.5.1 最小类局部保持方差支撑向量机与支撑向量机的联系

3.5.2 最小类局部保持方差支撑向量机与最小类方差支撑向量的联系

3.5.3 构建权矩阵

3.6 实验研究

3.6.1 最小类局部保持方差支撑向量机中的参数影响

3.6.2 线性情况

3.6.3 小样本以及非线性的情况

3.7 本章小结

第四章 最小类方差支撑向量机与零空间分类器的集成

4.1 引言

4.2 基本概念和小样本情况下的最小类方差支撑向量机

4.2.1 基本概念

4.2.2 小样本情况下的最小类方差支撑向量机

4.3 零空间分类器

4.3.1 线性零空间分类器

4.3.2 非线性零空间分类器

4.4 集成分类器

4.4.1 线性集成分类器

4.4.2 非线性集成分类器

4.5 实验研究

4.5.1 集成分类器算法中参数对分类精度的影响

4.5.2 线性情况

4.5.3 非线性情况

4.6 本章小结

第五章 最小方差支撑向量回归

5.1 引言

5.2 支撑向量回归

5.2.1 支撑向量回归算法

5.2.2 支撑向量回归算法的几何框架

5.3 最小方差支撑向量回归

5.3.1 最小方差支撑向量回归的目标优化问题定义

5.3.2 最小方差支撑向量回归的优化问题求解

5.3.3 最小方差支撑向量回归的与支撑向量回归的联系

5.3.4 散度矩阵S奇异情况

5.4 非线性最小方差支撑向量回归

5.5 实验研究

5.5.1 人造数据

5.5.2 真实数据

5.6 本章小结

第六章 支撑向量数据域描述优化问题最优解的理论分析

6.1 引言

6.2 支撑向量数据域描述回顾及理论分析基础

6.2.1 支撑向量数据域描述

6.2.2 理论分析基础

6.3 一个关于超球半径计算问题的例子

6.4 支撑向量数据域描述原始优化问题的理论分析

6.4.1 支撑向量数据域描述优化问题的等价改写

6.4.2 圆心唯一性证明

6.4.3 半径不唯一性分析

6.5 支撑向量数据域描述对偶优化问题的理论分析

6.6 修正后的支撑向量数据域描述算法

6.7 一个真实数据例子

6.8 本章小节

第七章 结束语

致谢

参考文献

附录

附录1:攻读博士学位期间撰写的与课题相关的论文列表

附录2:攻读博士学位期间参加的科研项目列表