基于应用层动态特征识别技术的数据流分析软件工具包

摘要

网络数据流分析，是网络运营商掌握网络态势情况的技术核心，是网络内容提供商对服务进行精确地分析与管控的前提条件，同时，其在网络安全和网络攻防领域也有着重要的作用。 随着互联网的发展，网络协议的规模和复杂性持续增加，特别是大量的新增协议给网络数据流分析带来了巨大的挑战。传统的网络数据流分析，面临如下的困境：首先，大量新增私有协议的解析，需要针对每款新增协议，定制开发对应的解析软件（往往以动态库形式提供），这样的解析方法，无法快速地满足网络发展的需要；其次，随着网络协议规模的增加，当多模匹配算法的规则集达到10万条以上时，对于多模匹配算法的匹配性能和规则集更新时间提出了挑战；再次，网络流量的飞速增长，CPU性能，特别是CPU主频的增长有限，需要软件架构支持性能与功能的强可扩展性。 针对上述应用需求，本文从数据流分析过程方面研究相关分析模型，从数据流分析核心算法方面研究相关多模匹配算法，从数据流分析性能方面研究相关多核处理平台的特点及并行化处理架构技术，详细研究工作如下： 1）可配置化的，数据识别与信息要素提取方法。本文通过分析大量标准、非标准协议识别、要素提取方法，对方法进行抽象化设计，提出一种包含协议识别、报文拼接、以及信息要素抽取、分析结果输出四个过程的，全方位的配置化引擎。可通过配置化的XML脚本语言，完成协议解析的全过程，极大地降低了新增协议的开发难度和工作量。 2）对多模匹配算法的优化。本文对网络数据流分析使用的核心多模匹配算法，进行了研究。针对目前使用最为广泛的ACBM算法，其不利于规则动态更新的问题（特别是使用位图压缩的改进ACBM算法），跳转匹配率低的问题，结合Sunday模式匹配算法，设计了一种基于Sunday算法跳转规则的，可实时更新模式规则的AC多模搜索算法。改进的AC算法，每秒钟可更新10000条以上的规则，每千个报文的平均匹配时间为5.7ms，比标准ACBM算法提升约34%。 3）在多核平台上，支持性能与功能的强可扩展性。为了实现功能和性能的线性扩展，本文充分研究了UNMA架构下CPU的特性，以及内存管理、CPU亲和性、并行流水线架构等并行化技术，提出一种基于NUMA架构下高扩展性的并行处理架构，经测试，该架构可随着CPU核数的增加，性能线性扩展。 最后，综合上述三方面的研究成果，设计并实现了基于应用层动态特征识别技术的数据流分析软件工具包，并使用现网采集的数据报文，在实验室模拟环境下进行了功能和性能的测试。工具包实现了对主流L2-L7层协议的配置化识别解析，同时，其性能也达到了10Gbps的线速处理。

目录

第一个书签之前

摘 要

Abstract

目 录

图目录

表目录

缩略词表

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状及分析

1.3论文目标及内容

1.4论文组织结构

第二章相关技术基础

2.1数据流分析主要技术

2.1.1数据流识别技术

2.1.2数据流特征要素解析技术

2.2数据流的分析核心算法

2.2.1ACBM算法

2.2.2SUNDAY算法

2.3数据流的分析硬件平台

2.3.1ATCA架构简要说明

2.3.2Intel多核处理器NUMA架构描述

2.3.3众核Tilera单板简要说明

2.4本章小结

第三章数据流分析核心问题的研究与解决

3.1支持动态更新的改进AC算法

3.1.1存在问题与解决方案

3.1.2动态更新AC自动机

3.1.3跳转算法改进

3.1.4使用内存地址偏移量

3.1.5加快匹配速度，子节点链表分段

3.1.6支持动态更新的改进AC算法小结与测试

3.2灵活的可配置化协议解析方法

3.2.1存在问题与解决方案

3.2.2应用层协议特征汇总

3.2.3配置化协议解析引擎结构设计

3.2.4配置化协议解析引擎语义设计

3.2.5配置化协议解析引擎语法设计

3.2.6语义定义正确性测试

3.3基于多核处理器的并行处理架构

3.3.1存在问题与解决方案

3.3.2CPU亲和性及内核调度的研究

3.3.3系统内存管理的并行化优化

3.3.4并行流水线架构

3.3.5在并行结构处理性能测试

3.4本章小结

第四章数据流分析软件工具包的原型实现

4.1系统概述

4.2系统模块的组成

4.2.1协议识别模块(DPI)的组成

4.2.2协议解析模块(Decoder)的组成

4.2.3操作维护模块(OAM)的组成

4.3业务数据流程

4.4核心业务模块设计

4.4.1协议识别模块架构设计

4.4.2协议识别模块流程设计

4.4.3协议解析模块架构设计

4.4.4协议解析模块流程设计

4.5管理流程与接口

4.5.1IF_OUT_1 数据输入接口

4.5.2IF_OUT_2 数据输出接口

4.5.3IF_OUT_3 DPI策略管理接口

4.5.4IF_OUT_4 Decoder策略管理接口

4.5.5IF_IN_1 负载均衡接口

4.5.6IF_IN_2 OAM接口

4.6本章小结

第五章软件的功能测试和性能分析

5.1试验环境

5.2系统功能测试

5.2.1数据流协议识别功能测试

5.2.2数据流报文重组功能测试

5.2.3VOIP协议要素抽取与内容还原

5.2.4标准邮件协议要素抽取与内容还原

5.3系统性能测试

5.3.1系统关键步骤和算法的性能测试

5.3.2系统整体关键性能指标测试

5.3.3系统性能高可扩展性测试

5.4本章小结

第六章总结与展望

6.1论文总结

6.2工作展望

致 谢

参考文献