基于多核平台的高速网络数据捕获和并行处理研究与实现

摘要

IT业界的发展日新月异。在计算机软硬件方面，CPU架构多核化和编程模式并行化的趋势越来越明显。随着带宽的日益增加，网络数据量爆炸式增长。物联网热的兴起更是加剧了对网络数据快速处理的需求。多核已经成为桌面处理器的主流，软件系统如何有效利用其架构优势成为研究热点。本文紧跟发展潮流，提出了一种在多核多线程平台下，对网络数据捕获和数据处理两部分进行并行化的方法。本课题可应用于多核平台下网络监控的相关系统。
　　课题属于网络内容安全领域。本文对该领域发展前沿做简单介绍之后，针对数据捕获和并行处理两部分，简要分析了技术背景和现有解决方案的优缺点。接下来，文章详细阐述了作者对这两部分的改进。首先分析了网络数据报文捕获技术的特点和要求，以及现有的实现方式；通过对网卡硬件收发数据包过程的研究，得出影响接收数据包性能的主要因素之后，设计出了改进型零拷贝网络数据包捕获平台。该平台通过DMA方式，网卡接收到的数据包被直接发送到用户空间的接收缓冲区中，有效地减少数据拷贝、系统调用的次数和CPU的处理时间，提高捕获性能。
　　接着，本文全新设计了网络数据并行处理方式。该设计遵循并行开发模式，充分利用了多核多线程硬件架构的优势。在分析了TCP/IP协议栈的工作原理的基础上，本文总结了串行协议栈数据处理方式的瓶颈；针对串行协议栈不能充分发挥逐渐普及的多核优势问题，对协议栈进行并行处理，在新平台上提高系统的硬件利用率和整体性能。
　　最后，本文对整体设计方案进行了说明，并对数据分发器和上下层接口的设计进行了阐述。在分析现有相似设计方案缺点的基础上，全新设计了适用于并行协议栈数据处理的分发器。对系统进行的实验测试表明，改进型零拷贝、数据分发器和协议栈并行处理的耦合有效地提高了系统的整体性能，尤其在多核处理器平台下具有良好的效果。

目录

基于多核平台的高速网络数据捕获和并行处理研究与实现

HIGH-SPEED NETWORK DATA CAPTURE AND PARALLEL PROCESSING ON MULTI-COREPLATFORM

摘 要

Abstract

目 录

第1章 绪论

1.1 课题研究背景、目的及意义

1.2 课题研究对象的发展现状

1.3 本文内容和结构

第2章 高速网络环境下的数据包捕获

2.1 数据包捕获的特点

2.2 Linux 和Windows 下的数据包捕获技术

2.2.1 Unix/Linux 下的数据包捕获

2.2.2 Windows 下的数据包捕获

2.3 捕包性能影响因素分析

2.3.1 硬件中断和系统调用

2.3.2 内存拷贝和检验和计算

2.3.3 捕包性能提高的途径

2.4 零拷贝数据包捕获设计思想

2.4.1 零拷贝捕包原理

2.4.2 零拷贝网络捕包关键技术

2.4.3 零拷贝技术的研究现状

2.5 高速网络数据包的捕获设计方案

2.5.1 数据包捕获模块零拷贝结构设计

2.5.2 内存映射和地址映射

2.5.3 同步控制

2.5.4 网卡驱动程序修改

2.6 本章小结

第3章 多核多线程下的并行协议栈

3.1 并行硬件体系结构

3.1.1 处理器结构

3.1.2 多核与超线程的联系与区别

3.1.3 多核与单核平台上的多线程

3.2 并行程序设计

3.2.1 并行化处理步骤

3.2.2 多线程设计模式

3.2.3 多核多线程设计程序语言

3.3 协议栈并行处理设计思想

3.3.1 TCP/IP 协议栈

3.3.2 协议栈的并行处理方法

3.4 并行协议栈的具体设计方案

3.4.1 问题划分

3.4.2 任务分配到多核多线程

3.4.3 协调各线程之间的互斥通信

3.4.4 将线程映射到各个处理器

3.5 本章小结

第4章 系统设计与实现

4.1 系统架构方案

4.1.1 相似系统最新设计方案

4.1.2 系统架构设计

4.2 网络数据包的分发

4.3 上下层之间的接口

4.4 系统实验与分析

4.4.1 实验软硬件环境

4.4.2 实验结果分析

4.5 系统未来研究方向

4.6 本章小结

结 论

参考文献

攻读硕士学位期间发表的论文

哈尔滨工业大学硕士学位原创性声明

哈尔滨工业大学硕士学位使用授权书

致 谢