具有准确应用类型标签的网络流量数据集的研究

摘要

随着网络技术的不断进步、网络应用的不断增多，网络流量迅速爆发，对于服务质量、带宽计费以及入侵检测等网络管理而言，准确的流量分类变得更加重要。然而，在当前的网络环境下，由于动态端口号和加密技术的应用，使得传统分类方法的有效性越来越低。因此，基于网络流量行为模式的机器学习，得到许多团体的关注和研究。基于机器学习的流量识别技术使用的大多数流量样本，都是在网络主干节点上采集的。该流量样本经过多层伪装、加密等操作，很难再使用动态端口号、有效载荷、聚类算法等方案，来获得产生其的准确应用类型信息。因此，如何获得具有准确应用类型标签的网络流量数据集，成为目前流量分类研究所面临的一个难题。
　　 为了解决获得具有准确应用类型标签的网络流量数据集的问题，本文提出了具有准确应用类型标识的网络流量数据集的制作方案，并将该方案在真实的网络环境中进行部署实施，从而获得真实的具有应用类型标识的网络流量数据。
　　 首先，开发基于套接字钩子的钩挂程序(Socket Hook)和基于passthru框架的网络中间层扩展驱动程序，并将其安装在使用Windows操作系统的主机上。则主机上运行调用socket请求的网络应用时，在用户层，Socket Hook会将其截获并获得其五元组（源IP地址、源端口号、目的IP地址、目的端口号和协议）信息及应用进程名称，然后根据已创建的进程名称和进程标识的对应关系，建立网络应用的五元组和进程标识之间的对应关系。在内核层，基于passthru框架的驱动会截获socket调用的网络应用，并获得其五元组和进程标识的对应关系，然后在数据包头部的服务类型(TOS)位置上标记进程标识，在重新计算校验和后传输已被标识的网络应用。
　　 其次，在网络的中心出口处，通过路由镜像，使用基于现场可编程门列(FPGA)的板卡采集器对路由镜像的网络流量进行采集、过滤，并根据数据包头部TOS位值是否为零，将网络流量数据发送到数据服务器的不同位置上进行存储及处理。
　　 最后，对采集的网络流量数据依据五元组和TOS位的标志信息汇聚成流，并对汇聚后的网络流量进行过滤处理以及隐私处理。然后，数据处理器使用该处理后的网络流量制作成具有准确应用类型标签的网络流量数据集。

目录

声明

摘要

第一章 绪论

1．1 课题的研究背景

1．2 课题的研究目的及意义

1．3 主要工作及章节安排

1．3．1 本文主要工作

1．3．2 本文章节安排

第二章 网络流量数据集的研究现状

2．1 网络流量数据集的制作方案

2．1．1 基于主干网的网络流量监测器

2．1．2 流量分类算法的验证系统

2．1．3 真实流量信息的认证系统

2．1．4 获取真实的流量类型信息的系统

2．1．5 基于分布式主机的流量采集平台

2．2 数据集

2．2．1 Moore数据集

2．2．2 AUCKLAND数据集

2．2．3 NZIX数据集

2．3 本章小结

第三章 系统架构与关键技术

3．1 需求分析与设计

3．2 软件平台

3．2．1 Socket Hook的设计与应用

3．2．2 基于passthru框架的NDIS中间层扩展驱动

3．3 基于NetFPGA的板卡采集器

3．4 本章小结

第四章 为流出主机的流量标记应用进程标签

4．1 基本概述

4．1．1 标签位置的设定

4．1．2 哈希表构建原理

4．2 基于Socket Hook获得五元组和应用进程ID间对应关系

4．2．1 建立应用进程名称和进程ID的哈希表

4．2．2 建立数据包的五元组和进程ID的对应关系

4．3 基于passthru的驱动为数据包标记应用进程ID

4．3．1 建立NDIS Hash表

4．3．2 基于passthru驱动为数据包标记应用进程ID

4．4 本章小结

第五章 采集并制作具有准确应用标识的数据集

5．1 环境部署

5．2 网络流量的采集

5．2．1 基于Libpcap的流量采集

5．2．2 基于NetFPGA来采集网络流量

5．3 制作具有准确应用类型标签的数据集

5．3．1 数据集制作的原理

5．3．2 对采集的流量进行隐私和过滤处理

5．3．3 制作特征数据集

5．4 本章小结

第六章 总结与展望

6．1 本文总结

6．2 展望

参考文献

致谢

附录