基于非贪婪算法的判别分析技术研究

摘要

随着信息技术的发展，数据量越来越大，带来的噪声和数据的冗余也越来越多。如何从含噪数据中有效地提取特征，一直是模式识别、机器学习、数据分析等领域关注的热点。线性判别分析是一种经典的特征提取方法，并且广泛地应用于人脸等图像的特征提取问题中。由于现有的大多数基于线性判别分析的特征提取算法都是利用L2范数平方进行度量，过分强调距离比较远的点，鲁棒性不好，而且在实际应用中，样本中不可避免的会存在一些离群点，即远离大多数数据分布的样本点，导致线性判别分析算法退化明显，提取到的特征受离群点影响大，识别率不高。本文从距离度量方式入手，研究了基于L1范数和L21范数的鲁棒判别特征提取算法。本文的主要内容如下：
　　第一、已有的L1-2DLDA使用了贪婪算法求解，因此存在没有将目标函数值优化到最大，投影方向不相关，优化时间长的问题。针对这些问题，本文借助辅助函数，结合次梯度法和Armijo线搜索算法研究了一种非贪婪的迭代算法对Tr-L1-2DLDA的问题进行求解，整体优化投影矩阵，得到更优的目标函数值。通过将算法应用到含噪声的PIE，Extended Yale B和AR人脸库上进行分类识别，可以得出，本文的算法可以提取到更准确的特征，对噪声更加鲁棒，目标函数值更大，运行时间更短，识别率更高，并且局部收敛。
　　第二、已有的LDA-L1使用了贪婪算法求解，因此存在没有将目标函数值优化到最大，投影方向不相关，优化时间长的问题，除此之外，L1范数不具有旋转不变性，无法保留判别几何结构并且不容易求解。针对这些问题，本文提出L21-MMC，使用具有旋转不变性的L21范数进行度量，能更好的保留判别几何结构，并借助L21范数的导数，结合次梯度法和Armijo线搜索算法研究了一种非贪婪的迭代算法对L21-MMC的问题进行求解，整体优化投影矩阵，求解更方便，得到更优的目标函数值。通过将算法应用到含噪声的PIE，Extended Yale B和AR人脸库上进行分类识别，可以得出，本文的算法可以提取到更准确的特征，对噪声更加鲁棒，识别率更高，并且局部收敛。

目录

声明

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.2 国内外研究现状

1.3 本文研究内容及安排

第二章 线性判别分析技术综述

2.2 奇异问题及现有解决方案

2.3 LDA现有求解方式

2.4 鲁棒性差的问题及现有解决方案

2.5 本章小结

第三章 迹比值L1范数二维线性判别分析

3.2 L1-2DLDA目标函数

3.3 非贪婪的Tr-L1-2DLDA求解算法

3.4 算法流程

3.5 收敛性分析

3.6 仿真实验

3.7 本章小结

第四章 基于L21范数的最大间距准则算法

4.2 L21-MMC目标函数

4.3 非贪婪的L21-MMC求解算法

4.4 算法流程

4.5 收敛性分析

4.6 旋转不变性和判别几何结构讨论

4.7 仿真实验

4.8 本章小结

第五章 总结与展望

5.2 展望

参考文献

致谢

作者简介