孤立点挖掘及其内涵知识发现的研究与应用

摘要

孤立点挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测。孤立点可能是“脏数据”，也可能是与实际对应的有意义的事件。从知识发现的角度看，在某些应用里，那些很少发生的事件往往比经常发生的事件更有趣、也更有研究价值。因此，异常数据的检测和分析是一项重要且有意义的研究工作。　　本文的主要工作可以概括为以下五个方面：　　(1)从孤立点挖掘的现实意义、算法、应用领域、挖掘工具、算法的评价等各个方面对孤立点挖掘问题进行了综述。　　(2)针对基于距离的方法需要设置阈值的不足，本文提出了一个新的孤立点定义，通过对象与数据集中所有其它对象的距离之和来判别异常，从而有效解决了算法需要设置最近邻参数p或者k的问题。　　(3)对分类、多维数据中的局部异常检测问题进行了研究，基于属性值的频数差异性理论给出了一个新的异常定义，并提出了判断异常显著性的异常存在判别准则，实验结果表明，该判别准则可有效去除大量异常程度并不显著的对象。　　(4)实现了一个异常检测实验平台SOD(SmartOutlierDetection)，其中集成了所提出或改进的算法，为异常检测提供了一个分析工具。所提供的数据接口能够从多个外部数据源获取数据，增强了平台的实用性，现已集成到某高校的教务管理系统中进行测试。　　(5)结合教务管理系统的特点，探讨了在教务管理系统中使用异常检测的必要性，并就实际需求给出了应用实例。　　本文的研究目的是构建一个从真实数据中检测异常数据及发现其内涵知识的实验平台，主要包括有机结合的五个方面：消除阈值设置的基于距离和的近似算法；针对分类数据、高维数据的异常检测算法；为有效发现异常中的内涵知识的例外规则挖掘算法；针对子序列长度相等的静态时间序列数据中的异常挖掘算法；集成了以上几种算法的实验平台。

目录

第一章序言

1.1研究背景

1.2本文的主要内容和结构框架

1.3本文研究的意义

第二章数据挖掘与异常检测

2.1数据挖掘

2.2异常检测综述

2.3小结

第三章基于距离和的孤立点检测

3.1基于距离的孤立点检测

3.2基于距离和(distance sum-based)的孤立点检测

3.3实验设计

3.4本章小结

第四章分类属性空间上的异常检测

4.1相关工作

4.2问题描述和定义

4.3算法分析与设计

4.4相关问题

4.5实验设计

4.6结论与展望

第五章一种新的例外规则挖掘算法

5.1背景知识和问题描述

5.2算法分析与设计

5.3实验结果及分析

5.4结论

第六章基于线性形态的时间序列异常挖掘

6.1问题描述

6.2时间序列的线性化

6.3一种新的基于线性形态的异常挖掘算法

第七章异常检测实验平台SOD简介

7.1引言

7.2 SOD的体系结构和功能模块

7.3异常挖掘引擎

7.4总结与展望

第八章异常挖掘在教务管理系统中的应用研究

8.1教务管理系统中的孤立点分析

8.2应用实例

8.3小结

总结与展望

参考文献

致谢

读研期间撰写的学术论文

附录