A new technique of outlier detection

摘要

孤立点检测是数据挖掘领域一个重要的研究课题，目的是为了发现藏在大数据集中的有用的异常和不规则的模式。孤立点的检测在多种应用领域也备受关注，如信用卡，保险、税务，欺诈监测中、网络安全的问题中入侵检测和其他许多领域。
　　 许多数据挖掘技术中服务孤立点只是聚类操作的一个副产品。一般而言，这些技术将不在簇内的点定义孤立点。因此，基于聚类的孤立点检测算法的一个主要问题是找到集群和孤立点，而这些孤立点经常被视为噪声而去除，为了得到更多可靠的聚类。
　　 本论文通过分析孤立点检测方法，提出了一种有效检测孤立点和数据聚类的新法。该算法的主要思想是在聚类完成后继续进行数据过滤，方法首先利用k-means进行聚类，然后通过阈值是的设定进行孤立点的判别，最后将孤立点去除。
　　 为了检验算法的效率和有效性，本文采用用于KDD的Cup1999比赛数据集进行实验。实验结果表明，论文中提出的方法成功检测到了目前数据中的入侵行为，是可行及可靠的。此外，我们还将提出的算法与现有的一些算法在KDD常用数据集上进行实验比较，并得到了更好的孤立点的去除性能。

目录

声明

Abstract

摘要

TABLE OF CONTENTS

Liste of Figures

Chapter 1：Introduction

1．1．General definitions

1．2．Practical applications

1．3．Clustering and outlier detection

1．4 Purposed method

1．5．Organization of the thesis

Chapter 2：Outlier Detection Methods

2．1 Distance-based approach

2．1．1 Definition

2．1．2 A unified notion of outliers

2．2 Distribution-based approach

2．2．1 Neural Network-based

2．3 Density-based approach

2．3．1 LOF Method

2．3．2 INFLO Method

Chapter 3：Clustering

3．1．Clustering problems

3．1．1．Clustering Evaluation

3．1．2．Number of cluster

3．2．Partitioning Clustering Methods

3．3．Hierarchical clustering

3．4．Density-based clustering

3．5．Grid-based clustering

Chapter 4：Proposed Method

Chapter 5：Experimental Results

5．1 Results of our evaluation

5．2 Experiments with simulation data

5．3 Experiments with Network intrusion detection data

5．3 Comparison with existing methods

Chapter 6：Conclusion＆Future work

REFERENCES

Acknowledgments