核方法的若干关键问题研究及其在人脸图像分析中的应用

摘要

核方法作为一种非线性方法，对于非线性模式分类问题，具有坚实的理论支撑和强大的应用潜力。它具有两个显著的特点：首先是在线性与非线性之间架设起一座桥梁，其次是通过巧妙地引入核函数，避免了维数灾难，也没有增加计算复杂度。目前，支持向量机样本约简、核函数构造以及多重核学习都是核方法研究的重要方向。在支持向量机样本约简方面，一些研究致力于开发基于核聚类的样本约简方法；在核函数构造方面，利用数据的特性构造高效的专用核在很多应用领域尚未实现；在多重核学习方面，目前的多重核学习是在支持向量机的框架下提出并发展起来的，迄今还极少见到基于多重核的子空间分析方法的报告。
　　 本文的主要工作包括以下三个方面。
　　 ⑴提出了一种“自顶向下”的层次核聚类方法-核二分k-均值聚类算法(KBK)，该方法能够在核特征空间中快速产生规模相近的簇；在此基础上，提出了支持向量机样本约简的KBK-SR算法，它将一个经过改造的KBK聚类过程与一个样本移除过程相结合，作为支持向量机训练的预处理过程。理论分析和实验都表明，KBK-SR算法能够在保持较高测试精度的同时，快速有效地进行支持向量机样本约简。
　　 ⑵针对人脸图像的光照变化，为基于核的LDA识别方法提出了一种系统的核学习方法。该方法从朗伯假设出发，通过最大化类内和类间相似度的差来学习核矩阵，进而使用散乱数据插值技术将核矩阵推广为被我们称作ILLUM核的核函数。在可变光照条件下的人脸图像集上的实验表明，我们的ILLUM核能够使基于核的LDA方法很好地处理人脸图像识别中的光照问题，在这个意义下，ILLUM核显著优于线性核和高斯径向基核等常用核。
　　 ⑶提出了多重核线性判别分析(MKDA)方法，首先针对基于核的LDA给出了一种多重核的构造方法，继而通过使用拉格朗日乘子法优化最大边缘准则，在基于核的LDA的框架下导出了MKDA权值优化的迭代算法。在实验部分，一方面，优化权值后的MKDA在几个UCI标准数据集上显示了高于单个核KDDA的鉴别性能；另一方面，将MKDA的权值优化算法用于核选择，为人脸图像识别有效地选取出了鉴别能力最强的核。

目录

文摘

英文文摘

声明

第1章绪论

1.1模式识别系统的组成

1.2特征抽取的变换方法

1.3核方法的产生和发展

1.4核方法的应用领域

1.5本文工作概述

1.5.1论文的主要创新点

1.5.2论文的结构安排

第2章核方法的理论基础

2.1核方法的基本原理

2.2常用的核方法及其分类

2.3统计学习理论：学习机泛化能力的估计

2.3.1经验风险最小化归纳原则

2.3.2 VC维

2.3.3结构风险—期望风险的一个上界

2.3.4结构风险最小化原则

2.4支持向量机

2.4.1 KKT条件

2.4.2线性支持向量机

2.4.3非线性支持向量机

2.4.4大规模训练集支持向量机算法的实现

2.4.5参数选择

2.5核函数

2.5.1核函数的概念与性质

2.5.2常用的几种核函数

2.6小结

第3章支持向量机的样本约简与核聚类方法

3.1引言

3.2支持向量机样本约简的相关工作

3.2.1主动学习

3.2.2随机采样方法

3.2.3基于聚类的支持向量机

3.2.4 SR-DSA：基于数据结构分析的样本约简

3.3 KBK：核二分k-均值聚类

3.3.1 k-均值聚类

3.3.2二分k-均值聚类

3.3.3核二分k-均值聚类

3.4 KBK-SR:基于核二分k-均值聚类的支持向量机样本约简方法

3.4.1核平方马氏距离

3.4.2算法描述

3.4.3算法复杂性分析

3.5实验

3.5.1人工数据集上的实验

3.5.2基准数据集上的实验

3.6小结

第4章可变光照条件下人脸图像识别的最优核学习

4.1引言

4.2光照问题和朗伯模型

4.2.1光照变化对人脸图像识别的影响

4.2.2朗伯光照模型

4.3 ILLUM核：光照最优核

4.3.1朗伯模型下的相关记号

4.3.2图像相似度和身份相似度

4.3.3通过优化学习身份相似度矩阵

4.3.4核矩阵与插值核函数

4.4基于ILLUM核的LDA算法

4.4.1 LDA的基本思想

4.4.2基于ILLUM核的KDDA算法

4.5实验

4.5.1人脸图像数据库

4.5.2提取鉴别特征的能力

4.5.3识别效果

4.6小结

第5章多重核线性判别分析及其权值优化

5.1引言

5.2 MKDA的多重核构造

5.3 MKDA的权值优化

5.3.1记号和约定

5.3.2 MKDA的对角化操作

5.3.3带约束优化问题及其求解

5.3.4权值优化算法

5.4实验及结果分析

5.4.1 UCI数据集上的分类实验

5.4.2人脸图像识别的核选择实验

5.5小结

第6章总结与展望

6.1本文工作的总结

6.2后续工作的展望

参考文献

攻读博士学位期间发表和已录用的论文

致谢