面向大规模网络异常检测的数据流系统

摘要

本文针对现在的异常检测系统由于计算机软硬件的原因，而无法很好的处理大流量的环境中的海量数据的问题，提出了一种基于数据流的在线保存数据概要信息的方法，实现了一个面向大规模网络异常检测的数据流管理系统。数据流系统的核心是一个适于进行高频项统计的概要数据结构(FrequentSketch)，数据流管理系统中采用了吸收传统SQL优点的面向连续查询的数据流查询语言(DSQL)。同时，为了提高连续查询的效率提出了一种高效的数据流中间层语言(DSIL)，将数据流查询语言转换成便于程序执行的结构。最后本文将通过一个实例来演示系统是如何工作的。在实验中我们针对国家骨干网出入口的流量特性进行分析，将流量划分成便于进行异常检测的子数据流，并应用于本文所构建的数据流管理系统。通过分析比较常见的蠕虫传播模型，制定了一系列由DSQL描述的基于蠕虫行为的异常发现规则。在实际环境中运行结果，验证了本文所提出的数据流系统是可以在大规模网络情况下应用在异常检测系统中的。

目录

文摘

英文文摘

第1章绪论

1.1研究背景

1.1.1入侵检测

1.1.2常用检测方法

1.1.3传统网络安全解决方法面临的全面挑战

1.2数据流系统

1.2.1数据流模型

1.2.2数据流的查询系统

1.3国内外研究现状

1.4本文的主要研究内容和组织结构

第2章数据流系统和计算模型

2.1数据流模型和算法

2.1.1基于界标模型的方法

2.1.2基于滑动窗口模型的方法

2.2 Sketch算法

2.2.1 Sketch算法的特性分析

2.2.2 Sketch算法的可逆查询问题

2.3本章小结

第3章面向高频项统计的概要数据结构设计

3.1问题定义与分析

3.2 FrequentSketch设计思路

3.3基于高频项统计的FrequentSketch相应算法

3.4 FrequentSketch的update算法的复杂度分析

3.5 update算法效率与存储空间及数据流长度的关系

3.6 IP地址的映射函数

3.7本章小结

第4章面向网络异常检测的数据流系统模型

4.1多级概要数据结构

4.1.1多数据流思想

4.1.2多级概要数据结构模型

4.2 DSMS系统的设计

4.2.1 DSQL查询语言

4.2.2 DSIL中间层语言

4.2.3查询操作执行效率的比较

4.3用于网络异常检测的数据流系统模型

4.4本章小结

第5章基于数据流系统的网络流量分析和异常检测

5.1

5.1.1网络流量的划分

5.1.2特殊类型网络流量的分析

5.1.3网络流量的简化

5.1.4异常发现系统网络流量的提取

5.2网络异常行为发现策略的制定

5.2.1蠕虫行为模型定义

5.2.2网络蠕虫异常行为检测策略

5.3实际环境运行结果分析

5.4本章小结

结论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致谢

附录 DSIL的语法说明