基于不平衡数据分布的支持向量数据描述

摘要

不平衡学习问题是机器学习领域的难题之一,其困难主要是由于不平衡数据集本身的特点造成的。比如,某类样本数量严重不足,样本分布不能很好地反映实际分布。而目前现有的学习算法大多是基于平衡数据集设计的。因此,传统的分类算法在不平衡数据集上分类效果并不是很好。不平衡数据集广泛的存在于现实世界中,如医疗诊断和入侵检测等。因此,如何对其准确分类已经成为当前机器学习和模式识别领域的研究热点之一。
　　 统计学习理论为机器学习问题提供了有力的理论基础,支持向量机作为统计学习理论的实现方法,在模式识别、信号处理、自动化、通信等领域得到了广泛应用。支持向量机具有坚实的理论基础,能够较好地解决高维数、非线性、局部极小等实际问题,即使在样本数量较少的情况下依然能够获得良好的效果。
　　 支持向量数据描述,是一种在统计学习理论和支持向量机基础上发展起来的单值分类方法。其基本思想是通过在特征空间中找出一个包围目标样本点的超球体,并通过最小化超球体所包围的体积来让目标样本点尽可能的被包围在超球体中,而非目标样本点尽可能的不被包含在超球体中,从而实现两类之间的划分。本文主要研究支持向量数据描述方法,同时将其应用到不平衡分类中。
　　 本文在简要介绍统计学习理论和支持向量机理论的基础上对支持向量数据描述方法应用于不平衡分类进行详细研究:
　　 (1)研究了核参数和惩罚参数对SVDD分类面的影响。实验结果表明,参数对分类器的影响很大。因此,在实际应用中,如何确定参数对分类器至关重要。
　　 (2)研究了平衡状态和不平衡状态下SVDD实际分类面的变化:SVDD应用于不平衡数据集时,往往把少数类的样本错分,即分类面偏向于少数类,这就是SVDD的有偏性。实验结果也表明,在不平衡数据分类中,SVDD的分类面偏向于少数类。
　　 (3)在上面的研究基础之上,本文提出了基于特征提取的SVDD和基于信息熵的SVDD。这两种方法将样本的分布信息和样本的数量信息统一起来改进SVDD算法,使其适用于不平衡数据集的分类。实验结果显示了这两种方法的有效性。

目录

文摘

英文文摘

第一章 绪论

1.1 研究的背景及意义

1.2 不平衡分类的发展现状

1.2.1 重构数据集

1.2.2 改进分类算法

1.3 支持向量机发展现状

1.4 本文主要的研究内容

第二章 支持向量机理论和核方法

2.1 引言

2.2 机器学习理论

2.2.1 学习问题的数学描述

2.2.2 经验风险最小化

2.2.3 学习机器的泛化能力

2.3 统计学习理论

2.3.1 学习过程的一致性及VC维

2.3.2 推广性的界

2.3.3 结构风险最小化

2.4 支持向量机理论

2.4.1 分类问题的提出

2.4.2 线性支持向量机

2.4.3 非线性支持向量机

2.5 核方法

2.5.1 核方法的原理

2.5.2 核函数

2.5.3 高斯核函数的性质

2.6 本章小节

第三章 支持向量数据描述理论

3.1 引言

3.2 支持向量数据描述SVDD

3.2.1 原空间中的SVDD

3.2.2 特征空间中的SVDD

3.3 SVDD中的参数选择

3.3.1 高斯核函数及参数

3.3.2 惩罚参数c

3.4 两个参数对SVDD分类性能影响实验

3.4.1 核参数对分类性能的影响实验

3.4.2 惩罚参数对分类性能的影响实验

3.5 本章小节

第四章 不平衡数据支持向量数据描述算法

4.1 引言

4.2 带非目标类的SVDD

4.3 SVDD处理不平衡数据的惩罚策略

4.4 不平衡数据分类器的性能评价

4.4.1 Accuracy方法

4.4.2 F-measure方法

4.4.3 ROC曲线

4.5 不平衡分类中SVDD与其他数据描述方法的比较

4.5.1 实验一

4.5.2 实验二

4.5.3 实验三

4.6 本章小节

第五章 基于不平衡分布的支持向量数据描述算法

5.1 引言

5.2 基于特征提取的SVDD算法

5.2.1 特征提取

5.2.2 惩罚参数的确定

5.2.3 建立模型

5.3 FE-SVDD与SVDD的实验结果与分析

5.3.1 实验一

5.3.2 实验二

5.3.3 实验三

5.3.4 结论

5.4 基于信息熵的SVDD算法

5.4.1 信息熵

5.4.2 惩罚参数的确定

5.4.3 整体模型

5.5 E-SVDD与SVDD的实验结果与分析

5.5.1 实验设置

5.5.2 实验一

5.5.3 实验二

5.5.4 结论

5.6 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献

附录 :