基于Hadoop的应用层协议识别技术研究

摘要

Internet的飞速发展,使得多种多样的应用层协议不断涌现,导致网络变得更加复杂、更加多样化和难以管理。攻击方式和入侵手段也层出不穷,恶意的网络攻击对网络服务和信息安全产生了严重的危害。应用层协议的识别技术的提出、研究和发展,能够较好的解决网络流量实时识别和提取特征的问题。
　　考虑到安全性、灵活性等因素,很多的新应用层协议不再选择固定的端口号来传输数据,而是比较青睐于动态端口号,并且很多协议不具有统一的标准和规范,因此没法通过固定端口号来寻找到简单快捷的统一分类规律。基于端口号的分类对于使用动态端口的应用则不适用;基于负载的分类方法将会涉及到用户隐私问题,时间代价高;正则表达式的提取主要通过人为分析某种应用层协议的规范文档来提取。在数据爆炸的今天,人为分析协议进行特征提取变得日益困难。
　　本文针对当前应用层协议识别的困难和提取遇到的问题,提出基于Hadoop的应用层协议识别系统。利用并行处理海量数据的Hadoop来识别应用层数据包,并且可以提取出应用层数据包的特征串,实现了对应用层数据包特征的准确提取和识别。本文主要研究内容如下:
　　首先,研究现有的应用层协议识别技术、Hadoop和Hbase的架构和工作机制。
　　其次,研究Apriori算法,并基于Hadoop对该算法进行了改进,得到基于Hadoop的应用层协议特征串提取算法--MapReduceApriori算法。改进后的算法可较好地解决从非公开规范文档的应用层协议中提取特征困难的问题,以及新协议种类繁多人为提取特征日益困难的问题。
　　最后,设计并实现了基于Hadoop的应用层协议识别系统,实验表明该系统能够更高效准确地识别出应用层协议,并能够较准确的提取出未识别协议的特征串。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文的主要工作

1.4 本论文的结构安排

第二章 相关技术基础

2.1 云计算

2.2 协议识别技术

2.3 网络抓包工具WireShark

2.4 本章小结

第三章 基于Hadoop的特征串提取算法的研究实现与改进

3.1 基于Hadoop的Apriori算法及改进

3.2 基于Hadoop的应用层协议特征串提取MapReduceApriori改进算法

3.3 本章小结

第四章 基于Hadoop的应用层协议识别系统的设计与实现

4.1 系统总体设计

4.2 数据预处理模块

4.3 基于Hadoop的应用层识别模块

4.4 基于Hadoop的应用层协议特征串提取模块

4.5 本章小结

第五章 实验结果与分析

5.1 实验平台搭建

5.2 实验目的设计与结果分析

5.3 本章小结

第六章 总结与展望

6.1 总结

6.2后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果