决策树ID3分类算法研究

摘要

数据挖掘技术能够从海量数据中挖掘有价值的信息，是处理大数据最有效的技术方法之一。分类是数据挖掘中最重要的内容之一，分类技术被广泛应用在科研和智能商业活动中。决策树方法又是分类技术最重要的方法之一。经过将近50年的研究发展，已经出现了多种先进的决策树分类算法。其中，ID3(Iterative Dichotomize)算法是最著名的决策树算法，也是其他多数决策树算法的研究基础。因为理论清晰，方法简单，容易实现，易于理解，且分类效果较好，ID3算法被学者们广泛研究。然而ID3算法也有显著的缺点:如选择分裂属性时，倾向于选择那些有较多属性值的属性;决策树在构建过程中，没有对树进行优化;ID3算法的表达式逻辑性有待加强等。 对ID3算法的研究，本文主要做了如下工作: 1、从理论上讨论分析了ID3算法多值偏向的原因。在理论分析过程中，主要做了以下两方面的尝试创新:(1)基于粗糙集理论创造性引入属性重要度概念。(2)分析了属性在增加属性值时对其他属性的属性重要度的影响。 2、提出了改进的决策树算法——SID3算法。针对ID3算法的一些不足，SID3算法引入与属性值个数相关函数，简化ID3算法表达式，增加前剪枝技术。经过实验验证，SID3算法克服了ID3算法在属性选择时的偏向多值属性缺点，减少了计算量，增强了算法的逻辑性，增加剪枝技术，优化决策树。综合来讲，SID3算法在构建决策树时效率更高、构建的决策树的形状结构更加合理及判别精确率更加高。 3、最后基于visual Studio平台，用C sharp编程语言软件实现基于ID3及SID3算法的决策树智能系统，并应用在数字医疗诊断方面。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 发展历史及趋势

1．2．1 发展历史

1．2．2 发展趋势

1．3 论文主要内容

第2章 数据挖掘及决策树基本理论

2．1 引言

2．2 数据挖掘基本理论

2．2．1 数据挖掘的定义

2．2．2 数据挖掘的功能

2．2．3 数据挖掘常用的方法

2．2．4 数据挖掘的步骤

2．3 决策树基本理论

2．4 决策树算法中研究的基本内容

2．4．1 数据预处理

2．4．2 属性选择标准

2．4．3 剪枝技术

2．4．4 性能评价

2．4．5 属性选择的度量方法

2．5 常用的决策树算法介绍

2．5．1 ID3算法

2．5．2 CART算法

2．5．3 其它算法

2．6 本章小结

第3章 ID3算法属性多值偏向理论分析及优化

3．1 引言

3．2 属性多值偏向理论分析

3．2．1 粗糙集理论

3．2．2 理论分析方法

3．2．3 理论分析过程

3．2．4 对其它属性的影响

3．2．5 实验结果及分析

3．3 ID3算法的优化

3．3．1 算法表达式逻辑性优化

3．3．2 SID3算法

3．3．3 实验结果及分析

3．4 本章小结

第4章 决策树在数字医疗中的应用

4．1 引言

4．2 数据挖掘在数字医疗中的应用

4．3 SID3算法在医疗诊断中的应用

4．3．1 基于决策树的乳腺癌细胞诊断系统

4．3．2 系统流程

4．3．3 系统实现及比较分析

4．4 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

攻读学位期间参加的科研项目和成果