基于启发式搜索的IP数据流分类方法的研究

摘要

互联网发展初期，人们利用互联网主要是为了解决科研等工作中的沟通问题。但随着互联网的发展，以多媒体业务、P2P、VoIP、高速上网为代表的新业务不断涌现，尤其是P2P，经常是导致网络拥塞的罪魁祸首，使得有些关键业务服务质量无法保证。解决这一问题的关键是对网络数据包进行高效、准确的分类。此外，数据包分类技术是网络监管、流量分析、网络安全等领域的重要基础。
　　 本文首先对目前现有的基于端口、基于载荷特征、基于统计特征、基于行为特征四类IP数据流分类技术进行了研究，详细分析了这些分类技术的适用环境以及各种分类技术的优势和不足。其中，基于应用层载荷特征的IP流分类技术的准确性较高，但是，目前的应用层载荷特征基本靠人工分析提取，并且当特征库庞大时遍历匹配特征库需要消耗大量的时间。针对这一问题，本文主要工作内容集中在以下两个方面:
　　 (1)针对目前的应用层载荷特征基本靠人工分析提取需要消耗大量时间这一问题，本文通过把固定位置载荷特征和载荷公共特征串相结合，提出一种应用层载荷特征自动提取的方法，该方法可自动提取出载荷特征的正则表达式，从而使得载荷特征提取变得快速、简单;
　　 (2)针对当特征库庞大时遍历匹配特征库需要消耗大量的时间这一问题，本文提出一种将应用层载荷特征和启发式搜索相结合的IP数据流分类方法。该分类方法通过从各种应用产生的数据包之间提取共同特征并以此共同特征建立启发式规则，根据启发式规则将特征库划分为多个特征子集，在数据包匹配过程中只需要根据启发式规则搜索匹配特定的特征子集，从而大大减少了对无关特征的匹配过程，使待匹配的特征子集具有更强的针对性、使得时间性能得到提高。对于部分应用采用以DNS为引导的方法来对数据包进行分类，该方法部分消除了基于载荷无法对加密数据进行识别的弊端。
　　 在第5章，通过实验验证了载荷特征提取工具和提出的分类算法的有效性。以提出的应用层载荷特征和启发式搜索相结合的IP数据流分类方法为基础，在第6章设计并实现了一个基于linux平台的实时数据流分类模块。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 研究背景

1．2 研究现状

1．3 研究内容

1．4 论文结构

第2章 数据流分类相关技术

2．1 网络协议简介

2．2 数据流分类技术

2．2．1 确定性分类方法

2．2．2 概率性分类方法

2．3 应用层载荷特征提取技术

2．3．1 网络攻击数据流的载荷特征提取

2．3．2 常规应用数据流的载荷特征提取

2．4 正则表达式匹配技术

2．4．1 确定型有限自动机匹配技术

2．4．2 非确定型有限自动机匹配技术

2．5 本章小结

第3章 数据流应用层载荷特征的自动提取

3．1 相关概念

3．1．1 应用层载荷特征

3．1．2 数据流

3．2 应用层载荷特征自动提取算法的实现

3．2．1 样本数据的获取

3．2．2 固定位置的载荷特征提取

3．2．3 载荷公共特征子串的提取

3．2．4 自动生成载荷特征的正则表达式

3．3 实验结果分析

3．3．1 数据描述

3．3．2 提取的载荷特征结果分析

3．3．3 正确性

3．4 本章小结

第4章 启发式搜索的IP数据流分类方法

4．1 17-filter简介

4．1．1 17-filter的缺点

4．1．2 17-filter改进方向

4．2 相关概念

4．2．1 数据流

4．2．2 正则表达式

4．3 启发式规则的建立

4．4 特征库的建立

4．5 基于启发式搜索的IP数据流分类算法的实现

4．6 数据流记录表的更新

4．7 应用与协议

4．8 算法性能分析

4．8．1 时间性能

4．8．2 空间性能

4．9 本章小结

第5章 离线数据流分类实验与评价

5．1 数据描述

5．2 性能评估

5．2．1 准确性评估参数

5．2．2 时间开销

5．3 实验结果

5．3．1 阈值的确定

5．3．2 正确性

5．3．3 时间开销对比

5．4 本章小结

第6章 实时数据流分类系统设计与实现

6．1 linux内核可加载模块及netfilter简介

6．2 实时数据流分类系统设计

6．2．1 模块结构

6．2．2 hook函数

6．2．3 网络数据套接字缓冲区

6．2．4 系统总体设计描述

6．3 性能评估

6．4 本章小结

第7节 总结与展望

7．1 本文工作总结

7．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果