基于子空间分析的特征抽取及分类方法研究

摘要

特征抽取和分类是模式识别领域的两大热点，其主要任务是根据样本图像中的有效信息进行个体的类别识别。本文以代数统计为研究工具，在子空间学习的基础上，提出了新的特征抽取及分类方法，并将其与现阶段的主流方法进行了比较，验证了本文方法的有效性。本文的主要工作集中在以下几个方面:
　　 (1)提出稀疏Fisher线性鉴别分析算法。利用最小二次优化问题与Fisher线性鉴别分析在两类模式的识别问题上的等价性，从求解最小二次优化问题获得稀疏Fisher线性鉴别投影。所获得的稀疏Fisher线性鉴别投影可帮助我们从变量层面上发现是哪些变量在我们的鉴别过程中起了核心作用，这些变量对应着哪些物理功能等，从而使我们对数据有更深层次的理解。另外，由于稀疏Fisher鉴别投影从求解最小二次优化问题得到，因此避免了对特征方程的求解，这在很大程度上减少计算的花销。除此之外，稀疏鉴别向量比紧致的鉴别向量所需的存贮空间也更少。
　　 (2)提出了处理单样本识别问题的局部图嵌入鉴别分析算法。从单样本识别问题存在的不足入手，作了以下两方面进行尝试:一是利用均值滤波器增加训练样本，以缓解训练样本不足的问题;二是考虑数据的局部信息，利用图嵌入对数据的局部结构进行刻画。综合以上两方面，所设计的局部图嵌入鉴别分析算法很好地避免了“小样本问题”的出现，这对提高系统的识别性能和稳定性有很大的帮助。
　　 (3)提出了去相关局部保持投影算法（RLPP）。在局部保持投影(LPP)算法基础上，利用递归的方法，逐一得到去相关的鉴别投影。与现有的不相关局部保持投影不同，所提出的RLPP从另外的角度给出了去相关鉴别投影的求解方法，这一方法简单且有效，可作为其它算法发展去相关鉴别投影的借鉴。
　　 (4)提出了基于统一度量的特征抽取与分类器设计的一体化框架。从分类器出发，利用其有效的分类度量，设计出与之相匹配的特征抽取算法。以正则化K局部超平面最近距离分类器(RHKNN)为例，我们提出了与RHKNN相匹配的局部鉴别分析算法(HOLDA)。RHKNN+HOLDA作为这一框架下发展而来的识别系统，对整体识别性能的提高有很大的帮助。
　　 (5)提出了模糊相似近邻分类器(FSNC)。FSNC引入了“模糊集”理论，从数据间的“相似度”出发，对未知测试样本的类别隶属度作了具体量化，依据量化的结果给出分类的判断。在“相似近邻”的寻找上，借助了非负稀疏表示算法的优势，自动获取到“相似近邻”及其“相似度”，这在很大程度上减少了由人为因素对系统造成的负面影响，使FSNC的分类结果更确实可信。
　　 (6)提出了核Hilbert空间下的正则化线性回归分类器。算法主要对线性回归分类器（LRC）作了以下两方面的改进:一是对其原有的度量作了L1-范数的正则化处理，使得正则化后的LRC度量更具可靠性，这很好地提高LRC的分类性能;二是对正则化的LRC作核化拓展，使得在原空间线性不可分的数据样本，在核Hilbert空间下更具可分性。由于对LRC施加了L1-范数正则化约束，因此在没获得确切投影函数的基础上，要完成核化处理，并非件易事。然而，我们借助核技巧和微积分理论，成功化解了难题，完成了带L1范数约束的最小二次优化问题的核化扩展。

目录

声明

摘要

1 绪论

1．1 概述

1．2 基于子空间的特征抽取方法

1．2．1 线性子空间学习方法

1．2．2 非线性子空间学习方法

1．3 稀疏表示理论

1．4 本文研究工作概述

1．5 本文的内容安排

2 稀疏Fisher线性鉴别分析

2．1 引言

2．2 Fisher线性鉴别分析和最小二次回归

2．2．1 Fisher线性鉴别分析

2．2．2 最小二次回归

2．2．3 FLDA与LSLR的联系

2．3 稀疏Fisher线性鉴别分析

2．4 实验与分析

2．4．1 在UCI的Breast、WDBC和Ionosphere数据集上的实验

2．4．2 在CENPARMI手写阿拉伯数字库上的实验

2．4．3 在AR人脸数据库上的实验

2．5 小结

3 局部图嵌入鉴别分析

3．1 引言

3．2 图嵌入和受限的最大方差投影

3．2．1 图嵌入

3．2．2 受限的最大方差投影

3．3 局部图嵌入鉴别分析

3．3．1 预处理----构造新训练样本

3．3．2 基本思想

3．3．3 局部散度和类间散度的刻画

3．3．4 目标函数

3．3．5 局部图嵌入鉴别分析算法

3．4 实验与分析

3．4．1 在Yale人脸数据库上的实验

3．4．2 在FERET人脸数据库上的实验

3．5 小结

4 递归局部保持投影

4．1 引言

4．2 局部保持投影

4．3 递归局部保持投影

4．3．1 基本原理

4．3．2 算法模型

4．4 实验与分析

4．4．1 在UCI的WDBC和Sonar数据集上的实验

4．4．2 在CENPARMI手写阿拉伯数字库上的实验

4．4．3 在ORL人脸库上的实验

4．4．4 在AR人脸库上的实验

4．5 小结

5 由HKNN导出的局部鉴别分析

5．1 引言

5．2 K局部超平面最近距离分类器与正则化

5．2．1 K局部超平面最近距离分类器

5．2．2 正则化HKNN

5．3 由HKNN导出的局部鉴别分析

5．3．1 点到超平面的距离计算

5．3．2 同类和异类局部散布矩阵的刻画

5．3．3 分类准则

5．3．4 算法

5．3．5 由分类器导出特征抽取算子的框架

5．4 实验与分析

5．4．1 在AR人脸数据库上的实验

5．4．2 在Yale人脸数据库上的实验

5．4．3 在PolyU掌纹数据库上的实验

5．4．4 在CENPARMI手写阿拉伯数字库上的实验

5．5 小结

6 基于非负稀疏表示的模糊相似近邻分类方法

6．1 引言

6．2 模糊K最近邻分类器和基于稀疏表示的分类器

6．2．1 模糊K最近邻分类器

6．2．2 基于稀疏表示的分类器

6．3 基于非负稀疏表示的模糊相似近邻分类器

6．3．1 寻找相似近邻

6．3．2 构造模糊隶属度矩阵U

6．3．3 分类

6．3．4 FSNC算法

6．4 实验与分析

6．4．1 在UCI的Wine数据集上的实验

6．4．2 在AR人脸数据库上的实验

6．4．3 在CENPARMI手写阿拉伯数字库上的实验

6．4．4 在PolyU掌纹数据库上的实验

6．5 小结

7 核LASSO回归分类方法

7．1 引言

7．2 线性回归分类器和正则化作用

7．2．1 线性回归分类器

7．2．2 线性回归分类器与正则化

7．3 核LASSO回归

7．3．1 核技巧

7．3．2 基于核的LASSO回归分类器

7．4 实验与分析

7．4．1 在UCI的Wine、Iris和Glass数据集上的实验

7．4．2 在ORL人脸数据库上的实验

7．4．3 在CENPARMI手写阿拉伯数字库上的实验

7．5 小结

8 结束语

致谢

参考文献

附录