大规模网络下复杂应用识别及私有网络挖掘技术研究

摘要

互联网的出现为人们带来了极大的便利，改变了吃穿住行等多个领域的生活方式。随着互联网的日益普及和网络技术的飞速发展，互联网已经成为了人们主要的交流沟通工具和信息分享渠道。然而，随着网络用户规模的不断扩大，网络新技术的不断发展，给网络用户带来便利的同时却是给网络管理带来了巨大的挑战。
　　传统的网络分析方法在面对大规模的网络流量时，遇到严重的困境：首先，新出现的网络应用大规模地使用分布式架构和加密协议，并采用复杂的通信过程保证业务的完备性，极大地改变了网络流量的组成方式，使得传统的协议识别方法无法有效识别关键业务和关键应用，严重影响了网络运营商和网络服务商对网络环境的认知，以及对关键服务的保障，甚至可能带来严重的网络安全问题，造成用户的数据丢失和隐私被窃取；其次，大规模网络环境所带来的类不平衡问题严重影响了基于机器学习的协议识别方法的准确性，降低了其实用效果；再次，随着网络用户、带宽和应用的快速增长，网络流量急剧膨胀，呈现大数据的特性，给传统的网络协议分析方法带来了严重的挑战。
　　因此，基于上述研究背景及相关问题，本文的主要工作包括：
　　（1）针对复杂应用识别难的问题，提出了基于流感知的复杂应用识别方法，该方法通过对复杂应用通信特性的分析和研究，从时间、空间以及流量三个维度对复杂应用所产生的网络流量进行感知，建立了一个有效的行为模型，能够有效识别复杂应用，解决了复杂应用识别问题；
　　（2）针对大规模网络环境中小类别应用识别准确率低的问题，提出了基于MinMax原则分类器集成的SAIMM方法。首先分析了大规模网络下正例样本和反例样本比例过大所引发的的正例识别结果中误报增多的原因和机理，之后采用分类器集成的方法对数据样本进行处理，提高小类别应用流量的识别偏重，在保证总体识别准确率的同时，提高对小类别应用流量的识别性能；
　　（3）针对网络流量大数据分析难和复杂应用私有网络挖掘难的问题，提出了网络流场方法，将主机、服务器、网络流量等信息抽象成节点、通信行为等，采用流场挖掘、流量关联的方法对海量的网络信息进行挖掘，构建普通用户甚至网络运营商所看不到的复杂应用私有网络，剖析私有网络的运行机制；
　　（4）综合上述三个方面的研究成果，设计并实现了一套复杂应用识别与分析系统SpiderWeb，包括网络流量预处理模块、流感知模型特征提取模块、复杂应用识别模块、海量日志存储模块、网络流场挖掘模块以及可视化展示模块等。实验结果表明，该系统能够有效解决大规模网络环境下的复杂网络识别与分析问题，满足识别性能和分析的需要。
　　本文提出的复杂应用识别及私有网络挖掘技术，解决了大规模网络环境下复杂应用识别和分析的多个难点和挑战，能够有效提升网络运营商的网络管理能力。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1研究背景和研究意义

1.2国内外研究状况和进展

1.3研究目标和研究内容

1.4 课题来源、主要工作和创新点

1.5论文组织结构及内容安排

第2章 基于流感知的复杂应用识别方法

2.1复杂应用定义及特性

2.2基于流感知模型的复杂应用识别方法

2.3实验评估

2.4本章小结

第3章 大规模网络环境下复杂应用识别

3.1大规模网络环境的识别精确率分析

3.2基于MinMax原则分类器集成的SAIMM方法

3.3本章小结

第4章 基于网络流场的复杂应用数据挖掘

4.1网络流场

4.2基于网络流场的数据挖掘

4.3私有网络挖掘实例

4.4本章小结

第5章 复杂应用识别与分析系统SpiderWeb

5.1 SpiderWeb系统实现

5.2 SpiderWeb系统测试

5.3本章小结

结论

参考文献

攻读博士学位期间所发表的学术论文

致谢