基于鲁棒距离度量的判别分析研究与应用

摘要

特征提取是模式识别所研究的关键问题之一，其基本任务是寻求对分类尽可能有效的特征。在监督的特征提取方法中，线性判别分析（LDA）具有代表性，并已在人脸识别、文本分类、信息检索等领域得到广泛应用。LDA旨在寻求一个降维子空间或一组投影方向，使在该子空间中数据的类间距离最大化，类内距离最小化。然而，在真实世界中，由于各种无法避免的原因，数据往往夹杂着噪声或野值（outlier），因此，鲁棒判别分析算法（RDA）的研究便具有十分重要的意义。近年来，研究人员们已陆续提出了一些鲁棒判别分析算法，但这些算法各自固有的缺陷与算法之间所存在的联系并没有得到应有的重视与研究。针对这一问题，本文从不同算法所基于的鲁棒距离度量角度出发，在深入分析各算法鲁棒性的基础上，对现有算法进行了分类和比较，并提出了几种一般性的鲁棒判别分析算法。本文的主要研究内容与成果如下：
　　1.根据算法的鲁棒化方式不同，对现有鲁棒判别分析算法进行了分类。具体地，分为直接鲁棒判别分析和间接鲁棒判别分析两类。
　　2.提出了一种核诱导距离度量的鲁棒判别分析算法。通过在距离度量中采用鲁棒径向基核（RBF），使该方法不仅适用于处理非高斯分布的非线性数据，还能有效处理含噪数据。值得指出的是，由于RBF核函数的多样性，该方法可被视为一个直接鲁棒判别分析框架。
　　3.提出了一个新颖的间接鲁棒判别分析框架。该框架采用一种鲁棒主成分分析，即核诱导距离度量的鲁棒主成分分析，作为预处理算法。事先通过预处理手段除去数据中的野值，为后续判别分析算法清除了障碍。该框架本质的鲁棒性归咎于其在优化目标中，采用核诱导的、鲁棒的非欧距离替代原有的非鲁棒的欧氏距离。多种数据集上的实验结果验证了该框架的有效性与一般性。
　　4.分别从理论与实验两方面，分析和比较了现有算法（state-of-the-art）及本文所提鲁棒判别分析算法的分类性能。根据多种数据集上的大量实验结果，总结出了一些有意义的结论，为后续研究提供了准备。

目录

封面

声明

中文摘要

英文摘要

目录

图表清单

注释表

缩略词

第一章 绪论

1.1 机器学习

1.2 特征提取

1.3 判别分析及其主要问题

1.4 本文主要工作

1.5 本文内容安排

第二章 鲁棒距离度量概述

2.1 现有鲁棒距离度量

2.2 核诱导距离度量

2.3 本章小节

第三章 直接鲁棒判别分析

3.1 鲁棒判别分析分类

3.2 基于非参数最大熵的鲁棒判别分析

3.3 核诱导距离度量的鲁棒判别分析

第四章 间接鲁棒判别分析

4.1 鲁棒预处理

4.2 基于KI-PCA的间接鲁棒判别分析

4.3 实验比较

4.4 本章小节

第五章 总结与展望

5.1 已有工作总结

5.2 未来工作展望

参考文献

致谢

在学期间发表的学术论文

在学期间所参与科研项目