基于RDMA跨态通信协议的研究与实现

摘要

随着数据量的爆发式增长以及Infiniband等高速网络技术的普及，使得高性能分布式文件系统为大数据应用提供了有效支撑。传统的TCP/IP网络架构很难充分利用网络带宽，已成为整个系统的瓶颈。远程内存直接访问（RDMA）技术采用直接读写远端内存的方式，避免了多次内存拷贝的开销，满足了分布式应用中的高速通信需求。
　　在分布式文件系统中，为了保证较高的读写性能，客户端通常在内核态实现，而后端存储服务器出于简化设计的目的，在用户态实现，于是出现跨态对接通信的问题。若基于TCP/IP协议栈应用远程过程调用（RPC）模型，即使硬件上采用Mellanox公司提供的40Gbps Infiniband高速互联设备，因软件栈通信架构的限制，仍然无法获得高网络带宽。因此设计开发了一套基于RDMA的网络通信架构，实现并提供跨态的RPC over RDMA通信接口。
　　在该跨态通信架构实现中，客户端在内核态基于NFSoRDMA状态机模型设计实现，服务器端在用户态利用RPC over RDMA设计实现。按照传统RPC逻辑，结合RDMA原语操作，完成了客户端和服务器的上下半程调用，编解码等，实现了一种分布式跨态通信加速方案，适用于用户态和内核态高效通信的分布式应用场景。
　　对比测试结果表明，RPC over RDMA通信架构的设计使得网络带宽利用率明显提升，大约可以提升将近50％的峰值带宽，充分发挥了Infiniband网络的优势。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1研究背景

1.2国内外研究现状

1.3课题目的与意义

1.4研究内容与论文结构

2 跨态RPC over RDMA的通信架构方案设计

2.1远程过程调用技术

2.2跨态场景下分布式RPC通信架构

2.3远程直接内存访问技术

2.4通信接口层次结构

2.5客户端内核态RPC over RDMA

2.6服务器用户态RPC over RDMA

2.7本章小结

3 基于NFSoRDMA的内核RPC通信设计与实现

3.1内核态RPC over RDMA的整体架构

3.2内核态RPC over RDMA主要流程解析

3.3内核态RPC over RDMA的实现

3.4内核态RPC over RDMA的性能调优

3.5本章小结

4 基于RDMA的用户态RPC动态库的设计与实现

4.1用户态RPC over RDMA的架构层次

4.2用户态RPC over RDMA的流程解析

4.3用户态RPC over RDMA的实现

4.4本章小结

5 系统测试与结果分析

5.1测试目标

5.2测试环境

5.3实验结果与分析

5.4本章小结

6 总结与展望

致谢

参考文献

附 录 攻读学位期间主要研究成果