基于信息熵的粗糙集约简与支持向量机相结合的分类问题研究

摘要

随着科技的快速发展,各行各业涌现出大量的数据信息。如何从这些数据中快速获取有用的知识、提取有效的分类方法是目前机器学习面临的主要问题。粗糙集理论方法是一种能有效地分析和处理不精确、不一致、不完整等各种不确定信息的数据分析工具,已经成功应用于机器学习、模式识别、决策支持、知识发现、故障诊断等领域。知识约简作为粗糙集应用的关键技术,是该理论的核心问题之一,能够对数据进行快速有效的处理。
　　Vapnik等人提出的支持向量机是一种新的机器学习理论,集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术,其主要借助于最优化方法来解决机器学习问题。由于该理论具有全局最优、结构简单、推广能力强等优点,近些年得到了广泛地研究并被应用于数据分类、模式识别等领域。由于大多数的多类分类问题最终都可以转化为两类分类问题,因此支持向量机的原始问题也只涉及两类分类问题。
　　通过对以上两种理论的学习研究,结合它们的优点,设计了一种基于信息熵的粗糙集约简与支持向量机相结合分类算法,并将该算法应用到本文的分类系统中,实验结果显示该算法在分类的准确率和速率方面都有所提高。本文主要工作如下:
　　1.通过对粗糙集约简方法的研究,选择基于信息熵的启发式约简方法作为本文所提算法属性约简的工具。
　　2.在粗糙集区分矩阵的基础上,提出一种新的粗糙集对象约简算法。
　　3.设计了一种基于信息熵的粗糙集约简与支持向量机相结合的分类算法。该算法采用粗糙集属性约简理论对支持向量机数据特征进行选择,能有效降低输入特征向量的维数;而且,根据本文提出的对象约简方法能够有效移除冗余信息,修正不一致的信息,从而使分类面的分类性能得到优化。
　　4.通过对UCI数据库中数据集进行的研究和实验,验证了文中设计算法的有效性。

目录

封面

声明

摘要

Abstract

目录

1 绪论

1.1 研究背景及意义

1.2 粗糙集知识约简的研究现状

1.3 支持向量机研究的现状

1.3.1 研究问题

1.3.2 支持向量机方法的基本思想

1.3.3 支持向量机的发展与应用

1.4 本文主要工作与组织结构

2 粗糙集理论知识

2.1 粗糙集概述

2.2 粗糙集的相关理论的基本概念

2.2.1 粗糙集的基本定义

2.2.2 上近似、下近似、边界区域和近似性质

2.2.3 粗糙集的隶属关系

2.2.4 近似度

2.3 粗糙集的属性约简

2.3.1 一般约简

2.3.2 相对约简

2.4 知识的依赖性

2.5 决策表

2.6 属性约简的一般方法

2.6.1 基于区分矩阵的属性约简

2.6.2 代数观点的属性约简

2.6.3 信息论观点的属性约简

2.6.4 属性约简的代数观点与信息论观点的比较

2.7 本章小结

3 基于区分矩阵中相同决策属性贡献度的对象约简算法

3.1 信息熵

3.2 基于区分矩阵中相同决策属性贡献度的对象约简算法

3.3 基于区分矩阵中相同决策属性贡献度的对象约简算法步骤

3.4 实例分析

3.5 本章小结

4 支持向量机理论知识

4.1 统计学习理论

4.1.1 机器学习问题

4.1.2 统计学习理论的基本概念

4.2 支持向量机

4.2.1 支持向量机的基本方法

4.2.2 广义线性判别函数

4.2.3 支持向量机分类的具体方法

4.2.4 核函数及其基本性质

4.2.5 常见的支持向量机多类分类方法

4.2.6 数据缩放

4.2.7 交叉检验

4.2.8 支持向量机的训练算法

4.2.9 支持向量机的特点与优点

4.3 本章小结

5 基于信息熵的粗糙集约简与支持向量机相结合的分类算法

5.1 基于条件信息熵的启发式知识约简算法

5.2 支持向量机分类的步骤

5.3 基于信息熵的粗糙集约简与支持向量机相结合的分类算法

5.3.1 粗糙集约简方法与支持向量机相结合的分类模型

5.3.2 粗糙集约简方法与支持向量机相结合的分类算法步骤

5.4 本章小结

6 实验

6.1 实验设计

6.1.1 实验的环境

6.1.2 分类精度评价指标

6.2 实验的结果与性能分析

6.2.1 实验的结果

6.2.2 性能分析

6.3 本章小结

总结与展望

参考文献

攻读硕士期间发表论文

致谢