基于TCP流特征提取技术的网络流量识别应用研究

摘要

网络流量识别作为网络管理与安全分析的基础，在网络安全态势感知中发挥着至关重要的作用。随着互联网的迅猛发展，使用私有协议或加密协议的新型业务层出不穷，它们的出现使得传统的基于端口与基于深度包检测的流量识别技术逐渐失效。深度流检测技术(Deep Flow Inspection，DFI)由于其高效性以及可识别加密的网络业务等特点，在流量识别领域受到越来越多的关注。现有的基于DFI的流量识别技术在处理恶意入侵检测以及设备识别等问题时，由于特征不足或者相异度量选择不当等原因使得它们的识别率普遍较低，进而导致网络安全以及服务质量无法得到有效的保障。因此，对于不同流量识别场景中的相异度量算法以及特征提取算法的研究在网络安全态势感知中有着极其重要的意义。
　　本文结合TCP流的传输特征，提出了新的相异性度量算法以及特征提取算法，并对网络流量识别中的恶意入侵检测问题与智能设备识别问题进行了研究。针对恶意入侵检测技术研究现状，本文首先对相异性度量在无监督式恶意入侵检测技术中的应用进行了研究;其次为了克服无监督算法的低识别率等缺点，本文研究了基于TCP流特征的监督式的恶意入侵检测技术;最后从产生流量的源头出发，本文研究了基于TCP流特征的智能设备识别技术。本文的主要研究内容及贡献总结如下:
　　1.针对基于距离的相异性度量无法准确衡量流形结构中数据点之间的相异度的缺陷，本文提出一种改进的基于数据依赖的相异性度量。我们将该度量应用到基于TCP流特征的无监督式的恶意入侵检测实验中，检测正确率表明提出的度量要优于现有的基于距离的相异性度量。
　　2.针对现有的基于监督式的恶意入侵检测技术存在特征不足的缺陷，本文使用TCP通联过程中产生的246种属性作为特征空间来识别恶意入侵行为，并且设计了一种启发式的降维方法。实验过程检测了包括WannaCry在内的共六种真实的恶意入侵样本，检测正确率表明我们提出的方法要优于已有的方法。
　　3.鉴于智能设备管控是保障网络服务质量与信息安全极为重要的举措，本文提出一种通过使用不同设备在加载网页过程中产生的TCP数据流的统计特征来识别智能设备的方法。在真实的WiFi环境中进行实验测得设备的平均识别率达到984％。该方法有着较强的可扩展性，能够有效地识别不同类型的网站，并且识别率可以达到95.9％。

目录

声明

摘要

符号说明

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1．基于网络端口号的流量识别技术

1．2．3．基于主机行为的流量识别技术

1．2．4．基于DFI的流量识别技术

1．2．5．流量识别技术比较

1．3 主要研究内容

1．4 论文组织结构

第2章 基础知识

2．1 网络流量识别相关概念

2．2 深度流检测技术

2．2．2．DFI技术原理

2．3 网络安全态势感知技术

2．3．2．网络安全态势感知框架

2．3．3．网络安全态势感知建模过程

2．3．4．网络安全态势感知体系架构

2．4 本章小结

第3章 相异度在基于流特征的恶意入侵检测中的应用

3．1 引言

3．2 基于距离的相异性度量

3．3 基于数据依赖的相异性度量

3．3．1．基于数据依赖的相异性度量

3．3．2．通用的基于数据依赖的相异性度量

3．4 改进的基于结构数据依赖的相异性度量

3．4．2． DBSCAN

3．4．3．基于结构数据依赖的相异Jl生度量算法

3．5 基于结构数据依赖的密度函数

3．6 实验与分析

3．6．1．基于密度的聚类

3．6．2．改进的快速搜索和基于密度峰值的聚类

3．7 基于无监督式的恶意入侵检测

3．8 本章小结

第4章 基于TCP流特征的恶意入侵检测技术

4．1 引言

4．2 恶意入侵检测相关技术

4．3 —种新的面向TCP连接的恶意入侵检测技术

4．3．1．建模

4．3．2．TCP组报

4．3．3．通联特征提取

4．3．4．启发式的降维方法

4．3．5．算法设计

4．4 实验与分析

4．4．1．数据和工具

4．4．2．机器学习算法选择

4．4．3．最优属性选择

4．4．4．与现有方法的对比

4．5 讨论

4．6 本章小结

第5章 基于TCP流特征的智能设备识别技术

5．1 引言

5．2 设备识别相关技术

5．3 一种新的基于网页加载的智能设备识别技术

5．3．1．网页加载机制

5．3．2．JavaScript执行方式

5．3．3．特征提取

5．4 实验与分析

5．4．1．模拟环境搭建

5．4．2．智能设备识别

5．4．3．与现有方法的对比

5．5 基于网页加载的网站识别技术

5．6 本章小结

第6章 总结与展望

6．1 本文工作总结

6．2 未来研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果