模式识别分类中特征约简的方法研究

摘要

随着科学技术，信息技术的进步，大数据时代已经来临，在很多领域都存在维数灾难的问题，如何解决维数灾难问题是当今科学界都在思考的问题，因此性能越突出的特征约简算法成为研究的热点问题，常应用于医学数据处理领域和生物数据处理领域，常用的特征约简算法有特征选择算法和特征提取算法，此两种方法都可以很好的将特征属性进行“降维”处理。但是两种方法都存在各自的优点和缺点，如何利用它们两者优点摒弃缺点也为人们在特征约简的过程中提供了非常好的研究思路与研究方向？
　　本论文分别从特征选择和特征提取的角度对特征属性进行约简研究，分别通过三个特征约简的算法对数据的特征属性进行约简。现阶段特征特征选择算法与分类算法是分别单独设计的，两种算法兼容性比较差。如何解决兼容性差的问题呢。设计出一种基于互信息与支持向量机器的特征约简方法，合理的将互信息的相关知识与支持向量机的相关参数协调设计，该算法在将特征属性进行选择、提取，将特征集合中的不相关项冗余项进行剔除，将最有价值的特征属性保留下来同时将后续分类器的相关设计也同时进行。应用主成分分析进行特征约简虽然可以很大程度上进行特征约简，但是算法并没有考虑到类别属性对特征提取的影响。结合主成分分析和互信息的优点提出新的特征提取算法，此算法可以将高维特征属性进行大比例的约简，并能从中分析特征属性的主要因素和最优的分离平面。最后的一个算法对样本的线性判别准则与FISHER算法进行不同角度的改进，并提出一种新的特征约简算法，此算法将依据样本数据集中同类样本数据的类内散度及不相同类的样本数据之间的类间散度这两个度量进行特征属性的约简，在考虑特征属性和类别属性因素的同时将数据样本进行“降维”，此算法为后续的学习工作做好铺垫。经标准测试数据库的验证，以上算法均从不同的角度对数据属性进行大幅度的约简，并且具有较好的分类的准确率。

目录

声明

第1章 绪论

1.1课题研究的目的和意义

1.2特征提取与特征选择的定义

1.3国内外研究现状

1.4特征选择算法的概述与基本框架

1.5论文主要研究内容

第2章 特征选择算法基本理论基础

2.1信息论基础知识

2.2互信息的估算方法

2.3基于互信息的相关度量标准

2.4本章小结

第3章 基于支持向量机的特征选择算法

3.1支持向量机的相关基础理论

3.2基于支持向量机的互信息特征选择算法设计

3.3本章小结

第4章 基于互信息与PCA的分步特征提取算法

4.1主成分分析理论基础

4.2基于分步PCA与互信息的特征提取算法

4.3本章小结

第5章 类间与类内散度比最大的特征选择算法

5.1类内与类间散度

5.2基于类间与类内散度比最大的特征提取算法设计

5.3实验结果分析

5.4本章小结

结论

参考文献

攻读学位期间取得的学术成果

致谢