基于三支决策的代价敏感学习方法研究

摘要

数据挖掘中的一个重要模型是分类模型，传统数据挖掘方法的目标是获得一个分类精度尽可能高的分类器。但是在实际问题中，外部环境的各种不确定因素会导致决策不能顺利达到预期目标，进而带来决策风险代价，且分类模型中的误分类代价不尽相同，存在代价敏感性。完全避免决策失误是难以做到的，人们所期望的是使决策风险代价最小，而非期望利益最大化。追求决策知识与经验数据的严格一致性容易给决策者提供错误的决策信息，且忽略了决策者对预期风险的规避心理，已不适用于解决实际问题。三支决策将决策视为分类问题，与数据挖掘处理的问题模型相一致，建立了决策理论与数据挖掘方法之间的桥梁，其具有的误差容忍与代价敏感机制可以使传统的数据挖掘方法在分类中对不同代价的误分类结果具有区分性与敏感性，以做出风险损失最低的分类结果。
　　针对一般的数据挖掘模型仅仅寻求分类器的精度，不能根据人们的期望处理现实中的决策问题，本文将三支决策用于传统的数据挖掘方法中，构建了基于三支决策的代价敏感学习方法，使传统的数据挖掘方法更好地适应具有代价敏感性的实际问题。本文主要研究内容如下:
　　(1)针对典型的支持向量机增量学习算法对有价值的非支持向量的忽略，以及一般的支持向量机增量学习算法尽可能提升分类精度的客观性，利用三支决策的代价敏感性和边界域构建了一种新的支持向量机增量学习算法。该算法首先根据支持向量机的学习原理来度量三支决策中的条件概率;然后采用三支决策划分出边界域，并基于支持向量机对其与新增样本、原支持向量的并集进行分类;最后，通过实验证明，该方法不仅能够筛选出有价值的非支持向量进而提高分类的精确性，而且使支持向量机增量学习方法更适合于具有代价敏感性的实际问题，并使三支决策中条件概率的构建方式更切合于具体学习环境。
　　(2)针对现有的涉及k近邻的top-n离群点检测算法通常依赖于参数k，n，但用户却很难确定合适的参数值，基于三支决策的三支语义提出了一种基于三支决策的代价敏感离群点检测方法。该方法首先采用k近邻来度量三支决策的条件概率;其次，构建使决策代价最小的最优化问题来自适应地寻找最优条件概率;然后，采用三支决策递归地划分离群点;最后，通过实验证明，该方法不仅使条件概率的度量方法适用于离群点检测问题，而且可以在不需要用户参与的前提下自动地检测离群点。
　　(3)针对传统数据挖掘方法对不一致数据的忽视，以及一般的决策树算法对不一致结点的处理缺乏理论支撑的缺陷，根据三支决策的代价敏感性和边界域构建了一种新的决策树分类方法。该方法首先采用决策树结点的正例比例来度量三支决策中的条件概率，进而三支划分决策树中的结点，生成三支决策树;然后提出三支决策树合并剪枝规则，使之成为二支决策树;最后，通过实验证明，该方法保留了数据中的不一致信息，从最小化整体风险的角度来划分不一致结点，不仅生成了具有代价敏感性的决策树，而且使决策树中不一致结点的判别更具可解释性，并使三支决策条件概率的度量方法适用于决策树学习问题。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．2 三支决策理论及其研究现状

1．3 数据挖掘代价敏感学习国内外研究现状

1．4 论文研究内容与结构安排

1．4．1 主要研究内容

1．4．2 结构安排

第二章 三支决策、数据挖掘基础知识

2．1 决策粗糙集理论

2．1．1 Pawlak代数粗糙集模型

2．1．2 基于最小风险的Bayes决策

2．1．3 决策粗糙集模型

2．2 基于决策粗糙集的三支决策语义

2．3 数据挖掘相关理论

2．3．1 支持向量机增量学习

2．3．2 ID3决策树学习算法

2．3．3 离群点检测方法

2．4 本章小结

第三章 基于三支决策的代价敏感支持向量机增量学习方法

3．1 引言

3．2 基于支持向量机的三支决策条件概率的构建

3．2．1 SVM线性模式下的三支决策条件概率构建

3．2．2 SVM非线性可分模式下的三支决策条件概率构建

3．3 基于三支决策的支持向量机边界向量构建

3．4 基于三支决策的代价敏感支持向量机增量学习算法

3．4．1 算法

3．4．2 算法时间复杂度分析

3．5 实验分析

3．6 本章小结

第四章 基于三支决策的代价敏感离群点检测方法

4．1 引言

4．2 基于离群点检测的三支决策条件概率的构建

4．3 最优条件概率的计算

4．4 基于三支决策的代价敏感离群点检测算法

4．5 实验分析

4．6 本章小结

第五章 基于三支决策的代价敏感决策树学习方法

5．1 引言

5．2 代价敏感三支决策树的构建

5．2．1 决策树结点的三支决策条件概率构建

5．2．2 代价敏感三支决策树构建算法

5．3 代价敏感三支决策树合并剪枝算法

5．4 实验分析

5．5 本章小结

第六章 结论

6．1 工作总结

6．2 今后研究构想

参考文献

致谢

攻读学位期间的科研成果

声明