基于密度和距离的离群点检测方法研究与应用

摘要

离群点检测是数据挖掘中一个重要的研究领域，它的主要任务是找出那些与大部分对象产生机制不相同的对象。目前，离群点检测方法已经得到了深入的研究，但是使用单一离群因子的离群点检测方法已经难以提升算法的精度。因此，使用多条件混合参数组成离群因子的离群点检测方法已经成为离群点检测分析领域的一个重要的研究方向。 本论文详细的介绍了离群点检测的概念，主要包括：离群点的形成机理，定义以及分类。在分析了已有的离群点检测方法的优缺点之后，本文提出了两种新的离群点检测算法。 (1)提出了一种基于密度和距离双参数的离群点检测算法-DDPOS算法。通过分析发现使用单一的密度离群因子或单一的距离离群因子的离群点检测算法很难再提升检测的精度，并且难以消除边界点的干扰。因此，DDPOS通过计算对象的局部密度来观察对象之间的关联度；再根据局部密度来计算对象之间的全局距离，进而评估对象的平均偏离程度，同时消除边界点的干扰；最后将二者组合成新的离群因子来判断离群点。DDPOS综合了近邻算法框架完成离群点检测。理论分析与实验结果表明，DDPOS算法可以有效地进行离群点检测。 (2)提出了一种基于划分候选集的离群点检测算法——CPOFS算法。通过分析DBSCAN算法发现，它的预处理步骤可以将数据集快速的分为两个集合：核心点集与候选集。实验结果表明，对于大部分的数据集来说，划分的候选集可以包含所有的离群点；接着再对候选集检测离群点即可，同时还能提高算法的运行效率。算法使用了I-DBSCAN算法来进行候选集的划分，再使用综合离群因子对候选集进行检测。在计算框架上CPOFS使用了DBSCAN聚类算法框架和近邻算法框架进行检测。理论分析和实验结果表明，CPOFS具有较好的检测性能。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文内容及组织结构

1.3.1 论文主要内容

1.3.2 论文组织结构

2 相关知识

2.1 离群点

2.1.1 离群点形成机理

2.1.2 离群点的分类

2.2.3 离群因子

2.2 离群点检测方法

2.2.1 基于统计学习方法的离群点检测方法

2.2.2 基于距离的离群点检测方法

2.2.3 基于密度的离群点检测方法

2.2.4 基于聚类的离群点检测方法

2.2.5 基于分类的离群点检测方法

2.2.6 基于深度的离群点检测方法

2.4 本章小结

3 基于密度和距离的离群点检测方法

3.1 引言

3.2 基于密度和距离双参数的离群点检测算法

3.2.1 局部密度和全局距离

3.2.2 离群因子

3.2.3 算法执行步骤

3.3 实验设计与结果

3.3.1 实验环境和实验数据集

3.3.2 实验评价指标

3.3.3 实验结果与分析

3.4 本章小结

4 基于候选集的离群点检测方法

4.1 引言

4.2 基于划分候选的离群点检测算法

4.2.1 划分候选集

4.2.2 离群因子

4.2.3 算法执行步骤

4.3 实验设计与结果

4.3.1 实验数据集

4.3.2 实验评价指标

4.3.3 实验结果与分析

4.4 本章小结

5 基于离群点检测的入侵检测系统

5.1 系统设计

5.1.1 入侵检测模型

5.1.2 系统设计

5.2 系统实现

5.3 运行环境

5.4 本章小结

6 总结与展望

6.1 工作总结

6.2 工作展望

致谢

参考文献

在校期间学术成果及获奖情况