决策树中基于贝叶斯定理提取异常规则

摘要

分类发现是数据挖掘中一项重要的任务.分类是要构造一个数学模型(分类器),该模型能把数据库的记录映射到某一个特定的类别.有许多模型用来构造分类器.在数据挖掘领域,相对于其它而言模型决策树具有简洁、高效等特点,故其应用最为普遍.该文从提高决策树分类的准确率入手,对传统决策树叶子节点进行重新定义,提出大多数类叶子节点的概念.针对上述情况,该文提出把异常规则的概念.大多数类叶子节点中含有少数类别属于异常情况.在此节点中找出满足条件为类别为少数类别的、所有现存的、未使用过的测试属性值所构成的合取联接.异常规则的提取发生在大多数类叶子节点上.为了进一步提高建树的效率,该文使用一种预剪枝技术.它采用熵值理论的思想,提出一个分裂阈值.当某一节点小于预定阈值时,表明此节点已趋于纯净,再继续进行分裂已经没有实际意义,并停止继续对其进行分裂.这避免了后剪枝策略所需的高昂代价,减少了扫描磁盘数据的次数和大量的CPU时间,进一步提高了算法的效率.

目录

文摘

英文文摘

第1章数据挖掘技术概述

1.1数据挖掘的主要任务

1.1.1数据挖掘的概念

1.1.2数据挖掘的研究内容

1.2数据挖掘的功能与分类概述

1.2.2分类

第2章决策树

2.1决策树概述

2.1.1决策树的概念

2.1.2分类的概念

2.2决策树生成算法

2.2.1建树算法

2.2.2树的剪枝

2.3决策树的优点

2.3.1决策树的优点

2.3.2一般决策树的劣势

第3章决策树尺寸约束

3.1决策树叶子节点的类别

3.1.1有效性检查和大多数检查

3.1.2叶子节点的类别

3.2预剪枝算法

3.2.1传统剪枝算法存在的问题

3.2.2树的编码策略

3.2.3 MDL剪枝方法

3.2.4新的方案

第4章异常规则的提取

4.1异常规则的相关概念

4.1.1差异性标准

4.1.2异常规则

4.2贝叶斯分类方法

4.2.1贝叶斯定理

4.2.2贝叶斯分类方法原理

4.3产生异常规则

4.3.1异常规则的产生原理

4.3.2异常规则运算的简化方法

4.4启发式方法抽取异常规则

4.4.1包含规则与冗余规则

4.4.2异常比值表ERT与异常比值表组ERTG

4.4.3算法Merge()

4.4.4异常规则的提取Exception Rule Extraction

4.4.5生成决策树完整算法Gen-DT-ER()

第5章实验分析

第6章总结

致谢

在学期间发表的学术论文

参考文献