基于模糊Fisher准则的聚类与特征降维研究

摘要

聚类分析与特征降维是模式识别领域两个重要的研究课题。聚类分析作为一种重要的非监督模式识别工具，可用于多种领域，如数据挖掘、生物学、计算机视觉、文档分析等。它旨在将最相似的数据聚为一类，而将最不相似的数据聚为不同的类。特征降维包括特征抽取和特征选择，在模式识别中起着非常重要的作用，它有助于去除多余特征，降低原始数据集的维数。
　　 本文针对模糊聚类与特征降维中的几个问题进行了研究，包括基于模糊Fisher准则的半模糊聚类算法、无监督特征抽取以及不平衡数据集特征选择等。
　　 本文的创造性研究成果主要有：
　　 1、将Fisher线性判别扩展为模糊Fisher线性判别，并基于此提出了一种新的聚类算法，称为基于模糊Fisher准则的半模糊聚类算法。该算法将鉴别矢量引入迭代更新方程，因此其异于常见的FCM聚类方程形式。严格地讲，该算法不仅仅基于模糊类内散布矩阵，还基于模糊类间散布矩阵，不同于大多数类似于FCM的聚类只基于模糊类内散布矩阵，因此，从以模糊Fisher准则作为聚类目标函数这个意义上说，FBSC可以视为一个新的模糊聚类算法。实际上，该研究也拓展了Fisher线性判别的应用；
　　 2、提出一种将最佳鉴别平面特征抽取技术扩展到无监督模式的方法，其基本思想是通过最优化定义的模糊Fisher准则函数求得无监督模式下的第一个最佳鉴别矢量以及模糊散布矩阵。基于此，求得最大化模糊Fisher准则函数前提下满足正交、共轭正交或者既正交又共轭正交的第二个鉴别矢量，由这两个鉴别矢量分别构成无监督最佳鉴别平面、无监督统计不相关最佳鉴别平面或改进的无监督统计不相关最佳鉴别平面；
　　 3、提出一种将最佳鉴别矢量集扩展到无监督模式下的方法，其基本思想是通过定义的模糊Fisher准则函数将Fisher线性判别扩展成一种半模糊聚类算法，通过该算法求得最佳鉴别矢量和模糊散布矩阵，进而构造出最佳鉴别矢量集。实验结果表明，尽管该方法无法优于传统的有监督最佳鉴别矢量集技术，但却具有与同属无监督特征抽取的主成分分析算法可比的性能；
　　 4、提出了一种针对不平衡数据的基于后验概率的分类器独立的特征选择算法。该算法首先引入基于Parzen-window方法估算的不平衡因子，并以Tomek Links中点为初始值进行迭代，找出满足后验概率相等的判别边界点，通过对这些点法向量进行投影计算得到反映各特征重要性的权值。实验表明，对于不平衡数据，该算法在不降低分类器总体性能地基础上，不仅可以有效降低维度，节省计算开销，而且能够避免常规特征选择算法用于不平衡数据时忽视小类的缺点。

目录

文摘

英文文摘

声明

第一章 绪论

1.1课题背景

1.1.1模糊聚类

1.1.2特征降维

1.2模糊聚类和特征降维中的一些问题

1.3本文的工作

第二章 基于模糊Fisher准则的半模糊聚类算法

2.1国际国内研究现状

2.2半模糊聚类新算法FBSC

2.2.1 Fisher准则及Fisher线性判别

2.2.2模糊Fisher准则与模糊Fisher线性判别

2.2.3 FBSC算法

2.2.4 FBSC算法的扩展

2.2.5 FBSC算法与FCS、KIF算法的比较

2.3实验结果与分析

2.3.1实验1：人工数据集

2.3.2实验2：标准数据集Iris

2.3.3实验3：合成图像纹理分割

2.3.4实验4：真实图像分割

2.4本章小结及进一步的工作

第三章 基于模糊Fisher准则的特征抽取研究

3.1国际国内研究现状

3.2常用特征抽取方法

3.2.1主成分分析(PCA)

3.2.2线性判别分析(LDA)

3.3基于FBSC的特征抽取方法

3.3.1基于散布矩阵的类别可分性判据

3.3.2 FFE算法

3.3.3实验结果与分析

3.4基于模糊Fisher准则的无监督最佳鉴别平面

3.4.1有监督最佳鉴别平面

3.4.2模糊Fisher最佳鉴别矢量

3.4.3无监督最佳鉴别平面

3.4.4基于无监督最佳鉴别平面的特征抽取方法

3.4.5实验结果与分析

3.5本章小结及进一步工作

第四章 最佳鉴别矢量集在无监督模式下的扩展

4.1国际国内研究现状

4.2有监督模式下最佳鉴别矢量集

4.3无监督模式下最佳鉴别矢量集

4.4实验结果与分析

4.4.1 UCI数据集实验

4.4.2 PIE人脸识别实验

4.5本章小结及进一步工作

第五章 一种基于后验概率的不平衡数据特征选择算法

5.1国际国内研究现状

5.2基于后验概率的特征选择算法

5.2.1算法思想

5.2.2算法流程图

5.3实验结果与分析

5.4本章小结及进一步工作

第六章 结束语

致 谢

参考文献

附录：作者在攻读博士学位期间发表、录用及提交的论文