决策树分类算法优化研究

摘要

数据挖掘是指从数据库中抽取隐含的、具有潜在使用价值信息的过程，是一种新型的数据分析技术，已被广泛应用于金融、保险、政府、教育、运输以及国防等领域。 数据分类是数据挖掘中一个重要的内容。分类存在很多方法，其中决策树算法是以实例为基础的归纳学习算法，以其易于提取显式规则、计算量相对较小、可以显示重要的决策属性和较高的分类准确率等优点而得到广泛的应用。据统计，目前决策树算法是利用最广泛的数据挖掘算法之一。 然而在实际应用过程中，现存的决策树算法也存在着很多不足之处，如计算效率低下、多值偏向等。因此，进一步改进决策树，提高决策树的性能，使其更加适合数据挖掘技术的应用要求具有重要的理论和实际意义。 本文针对上述数据库知识发现的不足，进行深入的研究，探索数据挖掘中决策树分类的组合优化算法，以便更好地提高分类的准确性。应用于实际工作中，主要研究工作如下： 首先，从宏观上介绍了数据挖掘和分类技术的理论基础，并重点对决策树算法进行了分析和比较。 然后，提出了一种新的适合于高维数据库的组合优化决策树算法。相比于传统的分类算法，该算法从降维、属性选择、可扩展性和剪枝等方面进行了改进。其中最主要是提出基于加权属性协调度并结合简化预剪枝策略的决策树算法-DTBAC算法，以及加强算法可扩展性的FAVC集。 最后，着重介绍了所研发的组合优化决策树分类器系统。它以DTBAC算法为核心算法生成分类器，并应用到医学领域对病人进行分类。通过对比分析发现，DTBAC算法在总体性能上要优于目前被广泛采用的ID3算法。

目录

文摘

英文文摘

声明

第一章绪论

1.1选题背景和意义

1.2国内外研究的现状

1.3决策树算法研究的发展趋势

1.4本文的主要工作

1.5本文的结构

第二章数据挖掘及其分类方法分析

2.1数据挖掘的理论

2.1.1数据挖掘的概念

2.1.2数据挖掘的功能

2.1.3数据挖掘的步骤

2.2分类的概念及算法描述

2.2.1分类概念

2.2.2典型的分类算法描述

2.3评估分类模型准确性的尺度与方法

2.3.1评估分类模型准确性的尺度

2.3.2评估分类模型准确性的方法

2.4本章小结

第三章决策树算法的分析与比较

3.1决策树算法的基本理论

3.2决策树算法的主要过程

3.2.1决策树的生成过程

3.2.2决策树的使用过程

3.3决策树算法的主要研究内容

3.3.1数据预处理技术

3.3.2属性选取标准

3.3.3决策树修剪技术

3.3.4可扩展性研究

3.3.5性能评价

3.4属性选择度量方法

3.4.1信息增益标准

3.4.2 Gini索引标准

3.4.3 Relief标准

3.5典型决策树算法的分析与比较

3.5.1 ID3算法

3.5.2 C4.5算法

3.5.3 PUBLIC算法

3.5.4大规模数据集的决策树

3.6决策树算法评价

3.7本章小结

第四章组合优化决策树算法研究

4.1决策树算法的主要问题

4.2决策树算法的组合优化

4.2.1基于粗糙集理论的降维方法

4.2.2对缺失值的处理

4.2.3基于加权属性协调度的决策树算法

4.3本章小结

第五章组合优化决策树分类器的设计与实现

5.1系统的概要设计

5.1.1系统流程图

5.1.2系统模块构成

5.2系统的实现

5.2.1系统的主要数据结构及算法说明

5.2.2决策树分类器系统的主要界面说明

5.3算法的评估分析

5.3.1医学领域的实例

5.3.2基于UCI实例

5.3.3算法性能分析

5.4本章小结

第六章总结与展望

6.1总结

6.1.1本文小结

6.1.2个人小结

6.2对未来研究的展望

参考文献

致谢

攻读硕士学位期间主要的研究成果