基于数据相关性的异常检测算法研究

摘要

随着互联网的普及和信息技术的发展，异常检测已经逐渐成为数据挖掘领域的研究热点。异常检测旨在检测出观测数据中的非正常值，被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在这些领域中，异常数据的产生，相对于大量存在的正常数据，可以被视作一种随机现象，它通常不符合正常数据的数据模式，也不具备正例样本所具有的数据相关性。数据的相关性包含数据内部样本属性之间的相关性以及数据样本间的相关性，即结构相关性。研究如何有效利用正常数据和异常数据在数据相关性上的差异性有助于提高异常检测性能。
　　为此，本文围绕数据属性相关性和数据结构相关性进行了深入细致的研究，并取得了一定的研究成果。本文的主要研究成果包括:
　　(1)为解决多视角数据以及高维数据的异常检测问题，本文从数据属性相关性角度出发，提出了一种基于随机相关编码的异常检测算法。该算法将高维数据随机划分为多视角数据，并通过随机典型相关编码提取多视角数据集中不同视角和属性间的相关性构建RCCE特征空间。在RCCE特征空间基础上利用基于Rayleigh分布的判决模型对正常数据和异常数据属性相关性的差异进行统计分析以实现对测试样本的集成判决;
　　(2)在异常检测中，正常数据通常具有异常数据所不具备的某种数据结构相关性，即数据的内蕴结构。为此，本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构，并通过多重标签传递来构建未标记正例样本与待测试样本标签置信度的差异。最后，基于正例样本的标签置信度的统计特性分析，实现对测试样本的异常性判决;
　　(3)针对现有基于聚类的异常检测算法的局限性，本文利用超图的优势，提出了一种基于超图聚类的异常检测算法。该算法首先通过超图聚类实现对数据结构的描述，然后对得到的聚类结果利用基于关联度的判决模型对局部结构相关性进行分析，并将数据结构相关性上的差异转换为关联度的差异，最后通过对关联度差异的统计分析实现对测试样本的异常判决。

目录

声明

致谢

摘要

1．1 研究背景与意义

1．2 异常检测的研究现状

1．2．1 异常数据定义

1．2．2 异常检测算法概述

1．2．3 异常检测评价指标

1．3 本论文的研究工作

1．4 论文的安排

1．5 本章小结

2 异常检测算法分类

2．1 基于无监督学习框架

2．2 基于单分类学习框架

2．2．1 基于密度估计的算法

2．2．2 基于重构的算法

2．2．3 基于支撑域的算法

2．3 基于两分类学习框架

2．4 本章小结

3 基于随机典型相关编码的异常检测算法研究

3．1 相关工作

3．1．1 多视角数据异常检测

3．1．2 高维数据异常检测

3．2 基于随机典型相关分析的异常检测算法框架

3．2．1 符号说明

3．2．2 算法框架

3．3 随机典型相关(RCCE)特征的获取

3．3．1 基于CCA的相关性学习

3．3．2 RCCE特征表示的获取

3．4 基于Rayleigh分布的判决模型

3．4．1 RCCE相关特征的统计刻画

3．4．2 RCCE相关特征的Rayleigh估计

3．4．3 判决模型的建立

3．5 实验结果与分析

3．5．1 数据集说明

3．5．2 比较算法

3．5．3 实验结果分析

3．6 本章小结

4 基于标签传递的异常检测算法研究

4．1 标签传递模型

4．1．1 符号说明

4．1．2 标签传递

4．2 基于标签传递的异常检测

4．2．1 问题描述

4．2．2 异常检测框架

4．2．3 基于多重随机标记的标签传递

4．3 基于标签置信度统计特性的异常判决

4．4 实验结果与分析

4．4．1 数据集与比较算法说明

4．4．2 比较算法

4．4．3 实验结果分析

4．5 本章小结

5 基于超图聚类的异常检测算法研究

5．1 相关工作

5．1．1 聚类分析与异常检测

5．1．2 图学习

5．2 基于超图聚类的异常检测

5．2．1 研究动机

5．2．2 算法框架

5．3 基于HMETIS划分的超图聚类

5．3．1 超图的概念

5．3．2 HMETIS算法

5．3．3 超图聚类

5．4 基于关联度的异常判决

5．4．1 关联度的获取

5．4．2 异常判决

5．5 实验结果与分析

5．5．1 比较算法

5．5．2 实验结果分析

5．5．3 参数分析

5．6 本章小结

6．1 工作总结

6．2 工作展望

参考文献

作者简历

学位论文数据集