基于决策树的多分类器的集成及应用

摘要

分类问题是数据挖掘技术中的主要研究课题。目前有许多分类方法，简单的，如判别分析或决策树，复杂的，像人工神经网络或支持向量机。复杂的模型在预测方面通常会获得更好的性能，但可解释性不强，因此不能用来很好的解释预测或模型。就大量分类问题而言，没有哪一种分类器显著优于其它分类器，因此在设计分类器时，分类技术的选择将变得非常困难。就某个具体问题而言，甚至很难找到一个最佳分类器，因为这些分类技术，都有其具体的应用环境。同时，由于比以往更易获得大量数据，和更严格的性能要求（如：速度，准确性和成本），因此，对分类和预测系统提出了更高的要求。在许多新兴的应用中，显然没有哪种单一的分类方法是“最优的”，而更多的是要用到多种分类方法。因此，多个分类器的集成是新兴的应用的常用做法。与单分类器相比，显得更为稳健和强大。
　　 在对大量数据进行分类和预测的情况下，本文提出了一种简单的基于决策树的分类器集成方法。首先，用决策树来对数据集进行变量选择。接下来，使用简化的数据集构造一个强分类器（如人工神经网络和支持向量机）。最后，在实践中证明这种方法是稳健的，并且费时更少。
　　 本论文有下面三个创新点，提高了分类器的性能。第一，决策树可以用来对大型数据集进行分类变量选择。另两个是，一种对变量提取方法的改进，在确保分类准确性的同时，减少分类所用时间。