目标识别中基于最小化训练误差的特征提取算法研究

摘要

目标识别是模式识别和计算机视觉领域内的重要研究方向。近年来提出的目标识别算法主要是基于图像统计特征的学习和分类算法。由于图像样本的维数通常很高，且在高维空间的分布并不紧凑，导致其在样本空间不利于分类且计算复杂度太大。为了解决这些问题，子空间方法应运而生。子空间方法通过特征提取和降维技术，将数据样本由高维样本空间降维至利于分类的低维特征空间，达到更好的分类效果和更加经济的计算代价。 传统的特征提取算法，如主分量分析(PCA)，线性判别分析(LDA)和独立主元分析(ICA)等，通过分析训练样本的统计信息，根据某些统计准则训练分类器。但是由于这些分类算法并不直接以训练样本分类误差最小化准则作为训练依据，因此在样本分布比较复杂的情况下，无法取得令人满意的效果。而另一方面，Boosting算法的核心就是专注于某些困难分类问题，可以很好地解决上述难题。因此，如何结合子空间算法和Boosting算法，以训练误差最小化为准则进行有效地特征提取和分类器设计，在模式识别领域有着重要的研究意义。 本文的主要工作集中于结合子空间方法和Boosting方法，以训练误差最小化为准则有效地进行特征提取。主要研究成果概述如下： 1)以目标识别中的人脸识别为代表，总结了人脸识别技术的研究背景及内容，提出了目前人脸识别中特征提取的关键问题。阐述了子空间分析方法的概念和原理，对AdaBoost系列集成学习算法进行了深入地分析。 2)提出了子空间算法与集成学习算法相结合的基于提升自举FLD投影的特征提取算法，并给出了实验结果。在两类问题中，算法以最小训练误差为准则，构建易于分类的特征子空阈，可以有效地克服传统特征提取算法性能依赖于数据分布以及提取准则不直接与训练误差相关的弱点。 3)提出了多类问题中的基于提升自举FLD投影子空间的特征提取算法，算法选取特征的过程与训练误差直接相关，同时每一个弱分类器仪代表了部分的数据分布，所以算法的有效性并不受制于特定的数据整体分布。在四个真实广泛使用的手写字符数据集、车辆数据集、卫星图片数据集和AR人脸数据库上的结果证明了算法的有效性。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2人脸识别研究内容

1.3人脸识别系统评价标准

1.4人脸识别中的子空间分析方法

1.5人脸识别中的维数危机及其它问题

1.6论文的出发点和主要工作

1.6.1论文的出发点

1.6.2论文的主要工作

1.7论文组织结构

第二章子空间方法分析

2.1图像空间和人脸空间

2.2主分量分析PCA

2.2.1人脸识别中的PCA算法

2.2.2 PCA与特征脸

2.3线性判别分析LDA

2.3.1 LDA原理

2.3.2 LDA存在的问题

2.4几种改进的LDA算法

2.4.1 PCA+LDA

2.4.2先对角化Sw方法

2.4.3直接LDA

2.4.4非参数判别分析NDA

2.4.5正则化LDA

2.4.6其它改进的LDA算法

2.5本章小结

第三章基于集成学习和子空间投影的最小化训练误差特征提取算法

3.1 Bagging和Boosting

3.2 Bagging算法

3.2.1 Bagging算法描述

3.2.2 Bagging算法的理论分析

3.3 AdaBoost系列算法

3.4 AdaBoost算法训练误差分析

3.5 AdaBoost算法泛化误差分析

3.6基于提升自举FLD投影(BBFP)的特征提取算法

3.6.1算法概述

3.6.2算法描述

3.6.3实验结果

3.7本章小结

第四章基于提升自举FLD投影子空间的特征提取算法

4.1引言

4.2 AdaBoost.M1算法和AdaBoost.M2算法

4.2.1 AdaBoost.Ml

4.2.2 AdaBoost.M2

4.4基于提升自举FLD投影子空间(BBFS)的特征提取算法

4.4.1生成自举训练子集

4.4.2产生自举投影子空间

4.4.3利用Boosting算法产生强分类器

4.5实验结果一

4.5.1实验数据

4.5.2实验规则

4.5.3实验结果

4.6实验结果二

4.6.1实验数据

4.6.2实验规则

4.6.3实验结果

4.7本章小结

第五章总结与展望

5.1总结

5.2展望

致谢

在读期间发表的学术论文与取得的研究成果

参考文献

作者简介