基于L1范数的核判别保局投影算法研究

摘要

近年来，随着人们获取信息的工具和技术的不断创新，现实世界中得到的数据往往维数非常的高，所以，数据降维技术成为了处理高维数据中不可或缺的关键技术。因此，各种线性降维技术应运而生，如主成分分析法(PCA)、线性判别分析法(LDA)等等。而基于L1范数的判别保局投影算法(DLPP-L1)也是一个很高效的线性降维技术，它在保持样本局部结构信息的同时充分利用样本类间和类内判别信息的差异。DLPP-L1通过寻找一组最佳投影向量，将高维数据映射到低维特征空间中，使得在低维特征空间中，不仅要最大化类间样本的分散度而且要最小化类内样本的分散度。而随着K-SVM算法的提出，使用核技巧的方法受到了越来越多人的关注，它是将原始空间中的数据映射到高维空间中去，使得在高维空间中数据之间能具有更大的区分性。研究者将核函数引入到线性降维方法中，将线性降维方法推广为基于核函数的非线性版本。相应的实验结果也表明，使用核函数的降维方法在识别性能方面有明显的提高，因此，本文对基于L1范数的判别保局投影算法(DLPP-L1)进行研究并将核函数引入DLPP-L1算法中，提出基于L1范数的核判别保局投影算法。与此同时，直接基于图像矩阵的投影技术在线性降维中也取得了很好的效果，它直接对图像矩阵进行投影而不需要拉直成向量，避免了维数灾难问题。因此，本文的第二个工作是将直接基于图像矩阵的投影技术运用于DLPP-L1算法中，提出基于L1范数的二维判别保局投影算法。
　　本文的研究内容总结如下:
　　(1)为了提高基于L1范数的判别保局投影算法的分类性能，更好地利用样本的非线性结构。我们将核函数引入DLPP-L1算法中，提出基于L1范数的核判别保局投影算法(KDLPP-L1)。采用一个新的迭代算法来求解其最佳投影方向并且给出了目标函数迭代收敛性的证明。实验结果表明，KDLPP-L1算法和DLPP-L1算法相比性能有明显的提升。
　　(2) DLPP-L1算法要将图像矩阵拉直成向量，然后再进行投影降维，这样转换后的向量通常维数非常高，会造成维数灾难问题。为了克服这一局限性，本文将直接基于图像矩阵的投影技术运用于DLPP-L1算法中，提出基于L1范数的二维判别保局投影算法(2DDLPP-L1)。采用一个迭代算法来求解其最优投影向量并给出其算法合理性的理论证明。实验结果表明，2DDLPP-L1算法的识别性能和鲁棒性较DLPP-L1算法有很显著的提升，而且在它的相关方法中也是最好的。

目录

声明

摘要

图目录

第一章 绪论

1．1 研究背景及研究意义

1．2 国内外研究现状

1．2．1 线性降维方法的国内外研究现状

1．2．2 核方法的国内外研究现状

1．3 本文的工作安排

第二章 相关工作

2．1 保局投影算法(LPP)

2．2 判别保局投影算法(DLPP)

2．3 二维判别保局投影算法(2DDLPP)

2．4 基于L1范数的判别保局投影算法(DLPP-L1)

2．5 核判别保局投影(KDLPP)

2．6 本章小结

第三章 基于L1范数的核判别保局投影

3．1 算法的提出

3．2 KDLPP-L1的迭代求解算法

3．2．1 求解单个投影向量

3．2．2 扩展到多个投影向量

3．3 目标函数迭代收敛性证明

3．4 实验结果与分析

3．4．1 ORL数据库

3．4．2 AR数据库

3．4．3 PIE数据库

3．4．4 FERET数据库

3．5 本章小结

第四章 基于L1范数的二维判别保局投影

4．1 算法的提出

4．2 2DDLPP-L1的迭代求解算法

4．2．1 求解单个投影向量

4．2．2 扩展到多个投影向量

4．3 目标函数迭代收敛性证明

4．4 实验结果与分析

4．4．1 PIE数据库

4．4．2 ORL数据库

4．4．3 FERET数据库

4．4．4 AR数据库

4．4．5 Extended YaleB数据库

4．5 本章小结

第五章 总结与展望

参考文献

致谢

攻读硕士学位期间一篇学术论文被录用