基于支持向量机的特征选择及其分类算法研究

摘要

特征选择是数据挖掘领域中一个重要的研究课题，特征选择可以剔除学习过程中冗余的、无关的和有噪声的特征，从而得到一个维数最少而判别能力更强的信息特征子集。可以有助于提高模式识别的识别率，机器学习算法的精度及其泛化能力。随着大规模数据的不断增长，不仅样本数很大，而且样本的特征维数也很高。在此情况下，分类算法的时间复杂度会随着不相关特征或噪声数据成指数增长，不仅会造成维数灾难(Curse of Dimensionality)，也会造成降低分类算法的效果，因此有必要进行特征选择。一个特征选择的过程在原理上可以看成是一个组合优化过程，在原有的特征中选择其中的一部分，使某个特定的评价函数最优。但传统基于支持向量机的特征选择算法精度低并且时间复杂度高，本文重点研究了基于支持向量机的特征选择及其分类算法的基本概念和相关理论基础，提出了3个SVM-RFE特征选择算法的改进算法。为了避免SVM-RFE特征选择算法在特征空间搜索过程效率较低的缺陷，在基于SVM-RFE的特征选择算法中结合了模式识别领域的两种重要的特征选择方法过滤(Filter)和封装(Wrapper)的优点，得到SVM-RFE的特征选择改进算法(A-SVM-RFE)，并且利用相关的数学知识和原理分析了SVM-RFE特征选择算法不能剔除线性冗余特征的情况，利用相关系数的方法剔除冗余特征进一步改进了SVM-RFE算法(AD-SVM-RFE)。受到Weston等人在特征选择算法中利用梯度下降法来优化特征搜索策略的启发，本文也在SVM-RFE特征选择算法中应用了梯度下降法的方法(GAD-SVM-RFE)来求解最优的信息特征子集。上述的3个特征选择改进算法都分别进行了实验和效果的分析，实验结果表明这3个特征选择改进算法在急性白血病数据集、UCI数据集和Weston数据集等中搜索出的信息特征子集都获得较高的分类准确率和优越的时间性能，取得了较好的实验效果。最后用改进算法(GAD-SVM-RFE)在真实的肿瘤数据集应用，实验结果和分析表明其具有一定的实用价值和应用前景。

目录

文摘

英文文摘

声明

第一章 绪论

1.1研究背景

1.2国内外研究现状

1.3本文研究内容和工作

1.4本文内容安排

第二章 数据挖掘相关的概念及理论

2.1特征选择方法概述

2.2统计学习理论

2.3支持向量机

2.4评估分类器性能和模型的选择

第三章 基于SVM-RFE的特征选择算法研究

3.1基于SVM-RFE特征选择算法的方法

3.2加速特征选择改进算法(A-SVM-RFE)

3.3 A-SVM-RFE实验过程及效果分析

3.4剔除冗余的特征选择改进算法(AD-SVM-RFE)

3.5 AD-SVM-RFE实验过程及效果分析

3.6本章小结

第四章 基于SVM-RFE的改进算法研究

4.1基于SVM-RFE改进算法的原理

4.2 GAD-SVM-RFE实验过程及效果分析

4.3本章小结

第五章 生物医学应用研究

5.1生物信息学研究意义

5.2实验过程及效果分析

5.3本章小结

第六章 总结与展望

6.1全文工作总结

6.2未来研究展望

参考文献

致谢