面向通用多核CPU的高性能网络I/O加速研究与实现

摘要

随着通用多核技术的出现和发展，多核处理器在网络核心设备中能够提供较高的报文处理吞吐能力和支持更复杂的网络报文处理，为网络报文的分组转发带来了前所未有的灵活性、高效性和普适性。因此，面向通用多核CPU的高性能网络I/O加速技术得到了广泛研究。
　　现有面向通用多核的I/O加速技术，例如netmap和Intel DPDK，都拥有其对应的软件开发环境和编程接口，为应用的报文处理提供I/O加速支撑。Self-Described Buffer（SDB）是一种基于硬件的缓冲区管理技术，消除了软件对缓冲区管理的开销，且硬件实现开销较少，能够为高效报文I/O提供支撑。但如何将硬件高效的网络I/O加速机制转换为软件高速的网络分组处理加速方法，还缺少一个对应的软件开发环境。本文基于SDB硬件缓冲区管理机制，设计并实现了面向通用多核CPU的高性能网络I/O加速软件开发环境——Network Processing Development Kit based on SDB（NPDK）。本文的主要工作和创新点包括：
　　1.对NPDK的开发环境进行了描述，阐述了NPDK的分层处理体系结构，介绍了分组转发模块与功能以及多核动态编程接口，并详细描述了分组处理流程。
　　2.描述了NPDK实现所突破的几个关键技术，包括NPDK中基于轮询模式的以太网设备驱动，协议栈透明的SDB与SKB报文的转换方，可伸缩的接口虚拟化映射方式与管理方法；灵活的动态分组处理编程机制；基于双向地址转换技术的零拷贝实现。
　　3.基于NetMagic Pro平台，实现了NPDK开发环境的部署与应用。将基于NPDK的转发应用（如：OpenFlow交换机、路由转发、网桥转发）与商用网卡进行测试性能对比。结果表明，NPDK可有效提升转发应用的报文I/O性能。尤其对于64字节报文，NPDK的裸转发可达到线速，OpenFlow交换机转发可达到739Mbps。
　　综上所述，本文对当前通用多核CPU的网络I/O加速技术与开发环境进行了深入研究。本文基于SDB硬件缓冲区管理的机制，提出的面向通用多核CPU的高性能网络I/O加速软件开发环境。NPDK具有网络I/O开销小，报文缓冲区硬件低开销、软件缓冲区管理零开销和支持灵活的分组转发处理与多种编程方式，编程简单、灵活易开发，对通用多核处理器网络报文处理加速具有理论意义和实用价值。

目录

声明

第一章 绪论

1.1 研究背景

1.2 多核CPU网络I/O加速

1.3 主要工作和创新点

1.4 论文的组织结构

第二章 相关研究

2.1 PF_RING

2.2 netmap高性能网络I/O框架

2.3 DPDK数据面开发套件

2.4 SDB硬件缓冲区管理

2.5 本章小结

第三章 NPDK开发环境

3.1 分层处理体系结构

3.2分组转发模块功能

3.3 多核动态编程接口

3.4 分组处理流程

3.5 本章小结

第四章 NPDK实现的关键技术

4.1 虚拟网络驱动与接口管理

4.2 分组处理编程机制

4.3 内核与用户空间的双向地址转换技术

4.4 本章小结

第五章 基于NPDK的转发应用验证与分析

5.1 NPDK开发环境配置

5.2 实验环境与测试方案

5.3 测试数据结果与分析

5.4 本章小结

第六章结束语

6.1本文总结

6.2工作展望

致谢

参考文献

作者在学期间取得的学术成果

附录A NPDK开发环境测试配置信息