基于Web服务安全的异常数据挖掘算法研究

摘要

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。在数据挖掘的过程中，数据库中可能包含一些数据对象，它们与数据的一般行为或模型不一致，这些数据对象被称为异常点，对异常点的查找过程称为异常数据挖掘，它是数据挖掘技术中的一种。异常数据挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测等。孤立点可能是“脏数据”，也可能是与实际对应的有意义的事件。从知识发现的角度看，在某些应用里，那些很少发生的事件往往比经常发生的事件更有趣、也更有研究价值，例外的检测能为我们提供比较重要的信息，使我们发现一些真实而又出乎预料的知识。因此，异常数据的检测和分析是一项重要且有意义的研究工作。 本文重点讨论基于Web服务器日志文件的异常数据挖掘。系统地介绍了异常数据挖掘的基本理论，分别利用基于统计的方法、基于距离的方法和基于偏离的方法讨论了异常点的检测。重点讨论了基于距离的异常数据挖掘算法，即基于索引的算法、嵌套循环算法和基于单元的算法；并从时间复杂度、空间复杂度等角度进行了优缺点分析。考虑到使用基于距离的异常数据挖掘算法其效率较低并且需要设置参数，算法实现困难，因此提出基于距离和的孤立点定义方法，利用基于抽样的近似检测算法来实现Web服务器日志文件的异常数据检测，实验结果表明了该算法的有效性。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2国内外研究现状

1.3论文主要研究内容与体系结构

1.3.1论文主要研究内容

1.3.2论文体系结构

1.4本章小结

第二章理论基础

2.1数据挖掘

2.1.1基本概念

2.1.2数据挖掘过程

2.1.3数据挖掘知识分类

2.2异常数据挖掘

2.2.1异常点

2.2.2异常点分类

2.2.3异常点检测

2.2.4序列异常分析

2.2.5异常规则发现

2.3 Web服务安全

2.3.1 Web服务

2.3.2 Web服务安全

2.3.3异常数据挖掘在Web服务安全中的应用

2.4本章小结

第三章异常数据挖掘算法研究

3.1异常数据挖掘问题的描述

3.1.1基本概念

3.1.2异常数据挖掘的过程

3.2异常数据挖掘算法研究

3.2.1孤立点的描述

3.2.2挖掘孤立点的方法

3.2.3算法比较

3.3本章小结

第四章Web数据挖掘与Web日志挖掘

4.1 Web数据挖掘

4.1.1 Web挖掘的定义

4.1.2 Web挖掘的特性

4.1.3 Web挖掘的分类

4.2 Web日志挖掘

4.2.1 Web日志挖掘的定义

4.2.2 Web日志挖掘数据

4.2.3 Web日志挖掘数据采集

4.2.4 Web日志挖掘的过程

4.2.5 Web日志记录内容

4.3本章小结

第五章基于Web服务器日志文件的异常数据挖掘

5.1基于距离的孤立点检测

5.1.1孤立点的定义

5.1.2距离的量度

5.1.3数据标准化

5.1.4基于距离的算法小结

5.2基于距离和(distance sum-based)的孤立点检测

5.3基于Web服务器日志文件的异常数据分析

5.4基于Web服务器日志文件的异常数据挖掘算法

5.4.1算法实现

5.4.2多指标的异常数据挖掘算法实例分析

5.4.3单指标的异常数据挖掘算法实例分析

5.5本章小结

第六章结束语

6.1论文总结

6.2有待研究的内容

参考文献

攻读硕士研究生期间发表的文章

致谢