基于DPI和DFI相结合的业务识别系统中的样本获取技术设计

摘要

随着千兆网络时代的到来，传统的报文捕获机制已经成为整个系统的性能瓶颈。最近几年，点对点（Peer-to-Pecr，P2P）应用的快速增长，极大地消耗了有限的网络资源，是导致网络带宽不够用的主要原因，如何对P2P流量进行有效的识别和控制就显得相当重要了。为了能够在高速网络中可以迅速地捕获数据包并对其进行有效分析和准确识别，需要对现有的数据包捕获技术和网络流量分类识别系统进行重新的设计和定位，而基于机器自学习的深度流检测（Deep Flow Inspection，DFI）系统可以有效的识别出采用动态端口和加密协议的网络流。DFI分类识别系统对网络流的识别准确率主要取决于它的学习和训练样本，因此本文主要研究如何在高速网络中获得有效的网络流量特征数据集，并对其进行有效的特征选择，去除冗余和类别标签不相关的特征，达到降低向量的空间维度和计算复杂度，提高DFI系统的分类准确率。具体研究内容和主要工作如下：
　　 研究了基于深度包检测（Deep Packet Inspection，DPI）和DFI的流量识别技术。首先论述了DPI的工作原理、主要实现技术和系统的主要功能。其次研究并阐述了支持向量机（SupportVector Machine，SVM）及机器学习的基本原理和如何用SVM进行分类。最后得到了DFI流量识别的基本方法。
　　 研究了基于Linux的底层数据包捕获系统。首先详细论述了Linux的内核模块机制和传统的数据包捕获方法。其次提出了千兆网络环境下高速捕获数据包的方法和系统框架，该系统主要涉及三个部分：修改的网卡驱动程序、构建虚拟用户捕获设备（Virtual User KernelModule，VUKM）模块和协议分析接口。修改的网卡驱动主要使到达网卡的数据包绕过内核的协议栈，转交给VUKM模块处理；VUKM模块作用是实现用户空间的应用程序和内核空间的程序共享内存；协议分析接口提供上层协议分析子系统与底层数据捕获系统的接口，为上层应用程序和网卡无冲突地访问VUKM模块提供一种机制。最后得到通过网卡并由底层数据包捕获系统捕获的原始数据包。
　　 研究了DFI的样本获取。首先研究了特征选择的基本理论。其次给出了对数据特征集进行处理的方法，设计了Filter模块和Wrapper模块。基于ReliefF算法的Filter模块可以处理多类分类问题和去除大量不相关的特征，基于SFS算法的Wrapper模块，可以有效的选择出DFI分类器需要的样本。最后得到了DFI训练和学习需要的最优特征集。
　　 文章最后在OfficeTen3800的硬件平台下，测试了QQ、PPLive、飞信和BT登录产生的网络流量，分析了获得的样本，得到了最优特征子集。并对全文工作进行了总结和展望。

目录

文摘

英文文摘

第一章 绪论

1.1 背景及意义

1.2 国内外的发展概况和趋势

1.2.1 数据包捕获技术研究

1.2.2 特征选择技术研究

1.3 论文开展的主要工作

1.4 论文的组织结构

第二章 深度包检测和深度流检测的技术研究

2.1 深度包检测技术研究

2.1.1 深度包检测概述

2.1.2 深度包检测技术工作原理

2.2 深度包检测系统主要实现技术和功能

2.2.1 传统的基于端口的识别技术

2.2.2 基于应用层内容的识别技术

2.2.3 基于传输层行为的识别技术

2.2.4 深度包检测(DPI)系统的主要功能

2.3 深度流检测技术研究

2.3.1 基于SVM的DFI流量分类的基本思想

2.4 机器学习技术研究

2.4.1 机器学习问题的基本模型

2.4.2 VC维

2.4.3 经验风险最小化

2.4.4 结构风险最小化

2.5 支持向量机

2.5.1 支持向量机的基本思想和最优分类面

2.5.2 SVM线性可分情形

2.5.3 SVM线性不可分情形

2.5.4 支持向量机的核函数

2.6 本章小结

第三章 基于Linux的数据流采集模块设计与实现

3.1 Linux内核机制研究

3.1.1 内核网络结构

3.1.2 数据包捕获过程研究

3.1.3 Linux内核模块机制

3.1.4 网卡驱动程序

3.2 内存分配技术研究

3.2.1 内存参数设置

3.2.2 缓冲环管理及同步

3.3 底层数据捕获系统框架

3.3.1 网卡驱动模块的修改设计

3.3.2 内核VUKM模块设计与实现

3.3.3 协议分析接口设计与实现

3.3.4 无冲突访问VUKM模块

3.4 数据捕获系统各模块编译和加载

3.4.1 RT8110网卡驱动模块的编译和加载

3.4.2 VUKM模块的编译和加载

3.5 系统性能评估

3.5.1 测试环境

3.5.2 测试设备

3.5.3 测试结果

3.6 本章小结

第四章 深度流检测样本获取模块设计与实现

4.1 DFI样本获取系统框架

4.1.1 协议分析子系统

4.2 特征选择研究

4.2.1 特征选择概述

4.2.2 生成特征子集

4.2.3 特征选择算法的模型

4.2.4 LibSVM

4.3 Filter模块设计与实现

4.3.1 Filter模块特征集

4.3.2 Filter模块主要数据结构设计

4.3.3 Filter模块主要函数设计

4.3.4 Filter模块主要工作流程与实现

4.4 Wrapper模块设计与实现

4.4.1 Wrapper模块特征集

4.4.2 Wrapper模块主要函数设计

4.4.3 Wrapper模块工作流程与实现

4.5 本章小结

第五章 样本测试与分析

5.1 样本获取环境

5.2 实验设备

5.3 实验与分析

5.3.1 网络流量的获取

5.3.2 协议分析

5.3.3 特征获取及分析

5.4 本章小结

第六章 总结与展望

致谢

参考文献

攻读硕士期间发表的论文和申请的专利

附录-Ⅰ:249个特征向量