多变量决策树在高维代价敏感数据挖掘中的研究与应用

摘要

随着数据库和数据挖掘技术的发展，数据仓库中的数据变得越来越复杂。数掘挖掘技术己经成为计算机界新的研究热点之一，被应用在许多领域来处理各种数掘。在现实应用中，存在很多高维代价敏感数据。代价敏感数据挖掘研究在国外发展很快，是数据挖掘领域的一个热点问题，己有一些成型的算法和模型，而在国内发展相对滞后。因此，现阶段研究代价敏感数据挖掘对数据挖掘技术有着一定的现实意义。而数据的维度是影响各种挖掘算法性能的一个重要的因素，高维数据在很多代价敏感问题中也很常见，所以研究高维代价敏感数据挖掘是非常必要的。本文的研究工作就主要围绕高维代价敏感数据挖掘问题展开。 对高维数据的处理，也就是降维，一直都是数据挖掘研究中的一个热点。降维是通过将数据点映设到更低维的空间上以寻求数据的紧凑表示的一种技术，这种低维空间的紧凑表示将有利于对数据的进一步处理。一般的降维处理将数据集的各个属性看成是彼此独立的，对每个属性进行评价，从中找出那些对数据挖掘作用大的属性，去掉那些作用不大的属性，从而实现降维：但是，却忽略了属性之间的相关性。 本文围绕着高维代价敏感数据的数据挖掘问题，做了一些研究工作，取得了一些有特色的成果和创新： 1．本文将统计分析中的主成分分析用到降维分析中，研究了基于主成分分析的多变量决策树模型。这种方法不仅可以降低数据集的维度，而且考虑了成分之间的相关性，在降维的同时，有效的保留了属性之间的相关性，使降维处理后的数据更有效。 2．区别于普通的数据挖掘算法，本文在挖掘过程中，引入了代价函数，考虑了误分类代价，实现了一个基于多变量决策树的代价敏感数据挖掘算法PCAmetacost。 3．完成了一个基于PCAmetacost算法的邮政储蓄数据挖掘算法子系统的设计和实现，并在此基础上，选用了实际数据，对算法做了验证。 可以验证，经过降维处理和引入代价函数后的算法比一般算法在性能上有了一定的提高，特别是对于误分代价高的类的分类正确性有较大提高。本文另外选取UCI数据集中的三个数据集对算法进行了进一步验证。实验证明，基于主成分分析的代价敏感算法和一般的代价敏感算法相比在性能上有了一定的提高。

目录

文摘

英文文摘

声明

第一章 绪论

1.1课题背景

1.2研究现状

1.2.1分类算法的研究现状

1.2.2维度规约的研究现状

1.2.3代价敏感数据挖掘的研究现状

1.3存在问题

1.4论文的主要研究

1.4.1研究目标

1.4.2论文的创新点

1.5本文结构

第二章 基于主成分分析的多变量决策树模型

2.1引言

2.2决策树分类算法

2.2.1决策树算法的定义

2.2.2构建决策树的主要步骤

2.2.3决策树研究进展及主要研究方向

2.3维度规约和多变量决策树

2.3.1数据挖掘的流程和步骤

2.3.2数据预处理的常用方法

2.3.3维规约问题研究

2.3.4决策树算法维度规约的问题

2.3.5多变量决策树

2.4基于主成分分析的多变量决策树

2.4.1主成分分析

2.4.2主成分分析和多变量决策树的结合

2.4.3基于PCA的多变量决策树在代价敏感数据挖掘中的优势

2.5本章小结

第三章 多变量决策树在代价敏感数据挖掘中的研究

3.1引言

3.2代价敏感数据挖掘算法研究

3.2.1代价的定义和分类

3.2.2不平衡数据和代价敏感数据挖掘

3.2.3不平衡数据挖掘面临的困难

3.2.4现有代价敏感数据挖掘算法比较

3.2.5 MetaCost算法

3.3 PCAmetacost算法

3.3.1算法的提出

3.3.2算法思想

3.3.3算法的运作过程示例

3.4本章小节

第四章 多变量决策树代价敏感算法的应用

4.1引言

4.2邮政储蓄数据挖掘系统介绍

4.2.1邮政储蓄介绍

4.2.2邮政储蓄的挖掘领域

4.2.3邮政储蓄数据挖掘系统

4.3系统的体系结构

4.3.1表现层

4.3.2逻辑层

4.3.3数据层

4.4数据挖掘算法子模块的设计

4.4.1算法输入子模块设计说明

4.4.2算法子模块设计说明

4.4.3结果保存子模块设计说明

4.5本章小结

第五章 实验结果及分析

5.1引言

5.1评估指标

5.1.1混合矩阵和基本评价指标

5.1.2用正确率衡量分类算法的局限性

5.1.3可视化评价指标ROC

5.2标准数据集验证

5.2.1数据集介绍

5.2.2实验结果及分析

5.3邮政储蓄实际数据验证

5.3.1数据介绍

5.3.2实验结果及分析

5.4本章小结

结论

参考文献

攻读学位期间取得的研究成果

致谢