面向非平衡类数据的分类器性能比较研究与方法改进

摘要

类分布不均衡数据广泛存在于现实世界中。在某些领域，少数类样本被正确分类的重要性远远高于多数类。然而，大多数经典分类算法均假设样本的先验概率分布平衡或者错分类的代价相等。在处理非均衡分布数据时，少数类样本的信息经常被多数类样本的信息掩盖，致使少数类样本的分类错误率远远高于多数类样本。因此，非平衡类数据分类问题的研究受到越来越多的关注。
　　由于非平衡数据集中样本数量上的严重倾斜或者分布不均衡，传统的分类算法直接处理非平衡类数据集时，会造成少数类样本分类精度较差。因此，在数据层面采用混合抽样方法改变类分布情况和在算法层面提出一种改进的基于混合遗传算法的选择性集成算法提高分类性能，不仅能使分类性能得到改进，而且能使少数类的分类精度得到提升。主要研究工作和成果包括:
　　(1)选择基分类器。在WEKA平台上，对比分析C4.5决策树、BP神经网络、朴素贝叶斯和支持向量机四种分类器在平衡数据集和非平衡数据集的分类性能和稳定性。
　　(2)选择性集成对平衡和非平衡数据集的影响。借助WEKA平台，对比分析单一分类器和集成分类器在所有数据集上的分类精度，寻找集成学习中具有较大提升空间的基分类器组合;通过非平衡数据集在选择性集成和非选择性集成实验下的分类性能的差异，验证选择性集成的可行性;通过在平衡与非平衡数据集上的集成分类性能不同，证明非平衡数据集需进行数据层面的改动。
　　(3)提出了一种基于非平衡数据分类问题的综合集成方法。针对类别非平衡数据的分布特点，采用上抽样SMOTE和下抽样Bootstrap相结合的方式构建相对平衡的训练集;接着通过混合遗传算法选择C4.5决策树基分类器进行集成学习，从而提高非平衡数据集中少数类的分类效果。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 研究内容

1．4 论文组织结构

第2章 相关概念和理论知识综述

2．1 数据挖掘分类算法概述

2．1．1 分类的基本概念与一般性过程

2．1．2 分类器集成

2．2 代表性的单一分类器模型构造方法

2．2．1 C4．5决策树算法

2．2．2 朴素贝叶斯算法

2．2．3 支持向量机算法

2．2．4 BP神经网络算法

2．3 代表性的分类器集成方法

2．3．1 Boosting算法

2．3．2 Bagging算法

2．4 智能优化算法

2．4．1 多种群遗传算法

2．4．2 耗散粒子群算法

2．5 基于遗传算法的选择性集成算法

2．6 分类器评价

2．6．1 评价指标

2．6．2 评价方法

2．7 本章小结

第3章 平衡与非平衡数据集上单分类器分类性能比较研究

3．1 WEAK平台介绍

3．1．1 用户接口

3．1．2 数据格式

3．2 实验方案设计

3．2．1 实验目的

3．2．2 实验数据来源及数据集选择策略

3．2．3 数据预处理

3．2．4 分类器选择及分类性能评价指标

3．3 实验及结果分析

3．3．1 实验目的

3．3．2 分类器稳定性比较

3．3．3 泛化能力比较

3．3．4 实验结论

3．4 本章小结

第4章 平衡与非平衡数据集上集成分类器的性能比较研究

4．1 分类器集成

4．1．1 分类器集成的基本过程与核心问题

4．1．2 基分类器获得方法与实现差异性的主要策略

4．1．3 基分类器差异性度量方法

4．1．4 多分类器的组合方法

4．1．5 基于差异性度量的分类器集成方法

4．2 实验数据与实验方案

4．2．1 分类器集成的基本过程与核心问题

4．2．2 基分类器构造与集成方案设计

4．2．3 分类器性能指标设计

4．3 实验结果及分析

4．4 本章小结

第5章 一种基于非平衡数据分类问题的综合集成方法

5．1 非平衡数据集的特点及其所带来的主要问题

5．2 基于非平衡数据集的Bagging集成分类算法改进

5．2．1 算法改进的背景及策略

5．2．2 基于Bagging算法改进的基分类器构造

5．2．3 基于混合算法的基分类器选择性集成

5．3 实验与结果分析

5．3．1 初始数据集类平衡特性

5．3．2 处理后数据集类平衡特性

5．3．3 分类器分类性能比较

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢