基于L1-范数的二维非贪婪加权最大间距准则研究

摘要

当今社会，计算机的发展可谓是一日千里，人们利用计算机从生活中获得了越来越多的信息。比如在计算机视觉领域中，随着计算机软硬件的发展以及数码产品的普及，图像的数量以及维数每年以指数次方的速度增加。图像的维数越高，包含的信息就越丰富。然而并不是所有的信息都是有用的，高维图像数据中同样包含了大量的冗余信息。在处理图像的过程中，这些无用的信息常常会带来许多棘手的问题。因此，在处理图像之前经常需要执行降维操作。经典一维线性降维方法，如PCA、LDA等。二维方法，如2DPCA、2DLDA等。还有以L1-范数为度量准则的方法，如PCA-L1、MMC-L1等。它们在许多场景中都取得了很好的效果。
　　但是传统LDA对于多分类比较薄弱，这是由于它的目标函数中过分强调离中心间距大的类别，导致在特征空间中可以很好的分离离中心间距大的类别，却容易混淆离中心间距小的类别。而且以L1-范数为度量准则的方法由于L1-范数存在绝对值符号，难以直接求解目标函数。很多以L1-范数为度量准则的方法都采用贪婪策略逐个地求解每一个投影方向，这种做法所求得的最优解容易陷入局部值。针对这些方法的不足，一些基于加权的降维方法提了出来，如ILDA等方法，其主要思想是重新定义了目标函数，弱化离样本总体中心比较远的类别并且强调离样本总体中心比较近的类别对最终投影方向的影响，避免了离样本总体中心比较近的类别在降维后混叠在一起。同时还有一些基于非贪婪思想的降维方法被提了出来，如NPCA-L1等方法，这些方法的优点在于可以同时优化整个投影矩阵。此外，一些基于最大最小思想的降维方法已经被应用于许多场景中，并且取得了不错的效果。如CLMLDA、RMMLDA等。通过对上述方法的研究以及针对它们的不足之处，提出了以下三种改进方法:
　　(1)针对MMC-L1降维前需要将图像矩阵向量化，导致破坏了图像的空间结构信息以及2DMMC对噪声鲁棒性较差并且处理多分类比较薄弱的问题，提出了基于L1-范数的二维加权最大间距准则(2DWMMC-L1)。该方法具有三个优点:一是以L1-范数为度量准则，增强算法的抗噪能力。二是避免将输入样本拉成向量形式，直接在样本矩阵上进行投影，以免破坏样本矩阵的空间结构信息。三是重新定义目标函数，弱化离样本总体中心比较远的类别并且强调离样本总体中心比较近的类别对最终投影方向的影响，避免了离样本总体中心比较近的类别在降维后混叠在一起。最后，给出求解目标函数的方法以及单调性证明。
　　(2)由于传统基于L1-范数的降维方法中存在绝对值操作，不易直接求解目标函数的最优解。因此，很多基于L1-范数的降维方法都采用贪婪策略逐个地求解每一个投影方向，这种做法所求得的最优解容易陷入局部值。所以提出了基于L1-范数的二维非贪婪加权最大间距准则(2DNWMMC-L1)。相比较传统的2DWMMC-L1方法，该方法最突出的亮点在于可以同时优化所有的投影向量，寻求更好的投影矩阵。
　　(3)通过将max-min的思想引入MMC-L1中，提出了基于L1-范数的非贪婪最大最小间距准则(NMLM-L1)以及二维扩展版本。该方法充分利用max-min的思想以及MMC-L1的优点，并采用非贪婪的优化算法求解目标函数。

目录

声明

摘要

1．1 研究背景与意义

1．2 国内外研究现状

1．3 本文的工作安排

第二章 相关线性降维方法

2．1 基于一维的经典线性降维方法

2．1．1 主成分分析(PCA)

2．1．2 线性判别分析(LDA)

2．1．3 最大间距准则(MMC)

2．2 基于二维的经典线性降维方法

2．2．1 二维主成分分析(2DPCA)

2．2．2 二维线性判别分析(2DLDA)

2．3 基于L1-范数的线性降维方法

2．3．1 基于L1-范数的主成分分析(PCA-L1)

2．3．2 基于L1-范数的线性判别分析(LDA-L1)

2．3．3 基于L1-范数的二维线性判别分析(2DLDA-L1)

2．4 基于加权的线性判别分析(ILDA)

2．5 基于L1-范数的非贪婪线性判别分析(NLDA-L1)

2．6 最大最小线性判别分析(MMLDA)

2．7 本章小结

第三章 基于L1-范数的二维加权最大间距准则

3．1 问题建模

3．2 2DWMMC-L1单个投影方向

3．3 算法收敛性证明

3．4 2DWMMC-L1多个投影方向

3．5 实验结果及分析

3．5．1 数据库简介

3．5．2 Extended Yale B数据库

3．5．3 PIE数据库

3．5．4 ORL数据库

3．5．5 AR数据库

3．5．6 FERET数据库

3．6 本章小结

第四章 基于L1-范数的二维非贪婪加权最大间距准则

4．1．2 基于L1-范数的二维加权最大间距准则(2DWMMC-L1)

4．2 非贪婪优化求解算法

4．3 算法收敛性证明

4．4 实验结果及分析

4．4．1 数据库简介

4．4．2 PIE数据库

4．4．3 AR数据库

4．4．4 FERET数据库

4．4．5 ORL数据库

4．5 本章小结

第五章 基于L1-范数的非贪婪最大最小间距准则

5．1 问题建模

5．2 算法求解以及收敛性证明

5．3 基于L1-范数的二维非贪婪最大最小间距准则

5．4 实验结果及分析

5．4．1 数据库简介

5．4．2 AR数据库

5．4．3 Extended YaleB数据库

5．4．4 ORL数据库

5．4．5 UCI数据库

5．4．6 FERET数据库

5．5 本章小结

第六章 总结与展望

参考文献

致谢

攻读硕士学位期间发表的学术论文以及参与的科研项目