网络流量分类中特征工程的研究

摘要

对网络流量进行分析与分类是实现网络监控和管理的一大途径，并被广泛应用于网络入侵检测系统、网络管理系统等领域中。然而，随着动态端口号技术以及对流量加密技术的发展，单纯传统的网络流量分类方法已经无法达到我们对其准确性的要求。近年来，基于机器学习的网络流量分类受到广泛关注，其仅需定义一组与流量相关的统计量作为特征，而不需要使用端口号等来表示流量，从而避免了传统方法带来的局限性。然而，网络流量分类中存在着诸如类别不平衡、数据规模大等各种问题，若仅单纯使用传统的机器学习算法同样会导致分类性能较差。本文以此为出发点，对机器学习算法进行研究和改进，并用于网络流量分类中以提高其性能。
　　本文提出一种基于最小最大策略的集成特征选择算法用于解决流量分类中遇到的类别不平衡问题。该算法是将机器学习中特征选择和集成学习相结合，主要分为两个步骤，即数据划分与特征选择结果集成。先通过某方法将原始数据集划分为若干数据子集，在对每个数据子集进行特征选择过后，再通过最小最大策略将每个数据子集的特征选择结果进行集成，得到最终的特征选择结果。本文通过将该算法与其他集成特征选择算法进行比较，主要验证其在网络流量分类中的性能。
　　为了进一步提升网络流量分类的性能，本文通过考虑流量之间的相关性，在之前的流量数据集的基础上提取了一组基于多条流量在时间/空间上的关联性得到的特征，如与待分类流量拥有相同源IP地址的流量集合中流量的数量等。最后将提取了多流特征后的数据集使用提出的集成特征选择策略进行特征选择并进行分类以验证多流特征对网络流量分类效果的影响。实验表明，其在结合了部分多流特征之后，效果明显地提升。
　　本文提出的集成特征选择算法能有效地处理流量分类中类别不平衡的问题。与此同时，提取的多流特征也对流量分类的性能有一定地提升。

目录

声明

第一章 绪论

1.3研究意义

1.4论文安排

第二章 网络流量分类概述

2.2传统的网络流量分类方法

2.3基于机器学习的网络流量分类及其相关技术

2.4网络流量的流统计特征概述

2.5网络流量分类存在的问题

2.6本章小结

第三章 基于最小最大集成特征选择的网络流量分类

3.2集成分类和集成特征选择概述

3.3最小最大集成特征选择

3.4实验对比

3.5本章小结

第四章 网络流量分类中多流特征提取研究

4.1网络流量数据集生成过程

4.2实验对比

4.3本章小结

第五章 总结与展望

5.1 本文总结

5.2 未来展望

参考文献

附录1 攻读硕士学位期间撰写的论文

致谢