基于支持向量机的特征提取方法研究与应用

摘要

统计学习理论是一种专门研究有限样本情况下机器学习规律的理论，它不仅考虑了对推广能力的要求，而且追求在现有有限信息的条件下得到最优结果。支持向量机是在统计学习理论的基础上发展而来的一种新的机器学习方法，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势。 本文提出了一种用于最佳特征子集选取的特征筛选算法，且实现了特征与分类识别相关性强度的排序，并通过使用该算法对Ⅱ型糖尿病判别与风险因素筛选，求证了该方法的可靠性和可行性。本文将该算法称为Feature-Filtrate算法。当以该算法提取的特征子集{腰围、腰围/臀围、舒张血压、年龄)作为输入向量时，敏感度、特异性、准确率最高，分别为0.8666、0.6420、0.7014。同时，为了比较该方法的优越性，本文还采用了决策树、多层感知器建立类似模型分析同一数据集做比较。本文还将Feature-Filtrate算法与主成分分析法进行比较。试验表明，在特征提取方面该算法优于主成分分析法。因此，基于支持向量机的Feature-Filtrate算法对风险因素筛选、分类识别是一种有效的方法，为解决该类问题探索了一条有效途径。而且，本文采用决策树的思想对上述方法进行扩展，达到了多类分类和最佳特征子集的确定的目的。 本文用Java技术实现了Ⅱ型糖尿病预测系统。该系统用支持向量机结合Feature-Filtrate算法进行数据挖掘，预测用户患Ⅱ型糖尿病的概率风险，提供用户适合的医疗保健途径，并能够对病例信息、用户信息等进行管理。同时，该系统将有利于用户预防Ⅱ型糖尿病，也能方便医疗机构普及医疗知识。

目录

文摘

英文文摘

声明

第1章绪论

1.1机器学习理论

1.2国内外研究状况

1.3主要研究内容和研究意义

1.3.1研究内容

1.3.2研究意义

第2章统计学习理论综述

2.1机器学习

2.1.1机器学习问题

2.1.2经验风险

2.2学习过程一致性的条件

2.3推广性的界

2.4 VC维

2.5结构风险最小化

2.5.1结构风险最小化

2.5.2 SRM原则的实现

2.6小结

第3章特征筛选及Ⅱ型糖尿病预测

3.1支持向量机方法

3.1.1最优分类平面

3.1.2广义最优分类面

3.1.3支持向量机

3.1.4 SMO算法

3.2特征筛选算法

3.3糖尿病研究背景

3.4数据库

3.5执行概述

3.6数据预处理

3.7分类预测模型

3.7.1十折交叉验证

3.7.2输入向量

3.8风险因素筛选及Feature-Filtrate算法应用

3.9实验结果分析

3.10 Feature-Filtrate算法与主成分分析的比较

3.10.1主成分分析原理及过程

3.10.2试验结果比较

3.11特征筛选方法的扩展

3.11.1特征筛选算法的局限性与决策树

3.11.2基于支持向量机的特征筛选算法扩展

3.12小结

第4章Ⅱ型糖尿病预测系统实现

4.1需求分析

4.1.1设计目标

4.1.2需求规格说明

4.1.3用例模型

4.1.4功能描述

4.2设计

4.2.1体系结构设计

4.2.2详细设计

4.2.3系统的模块结构

4.2.4界面设计

4.3实现

4.3.1前台处理系统

4.3.2后台管理系统

4.4小结

结论

参考文献

致谢

附录