基于共享内存多通道网络通信的集群通讯技术研究

摘要

在过去几十年里,大规模和超大规模并行性集群处理取得长足进展,同时由于各种原因,这些机器多采用分布主存或分布式共享主存结构,各厂商开发了针对特定硬件平台的消息传递包或库,如Intel的NX、IBM的EUI、Parasoft的Express和橡树岭的PVM等,表现出优越的性能,但移植性很差。为了开发一个通信性能好、具有可移植性消息库,各厂商如硬件提供商IBM、Intel、软件开发商Parasoft、KAI研究中心,联合起来共同研究开发出一种通用的在不同硬件平台和异质网络中都能获得高性能的分布式开发包MPI,但这只是一种标准,具体的硬件和驱动程序构成了底层的高性能的通讯层。通讯是影响集群系统实际并行处理效率的关键,因此高性能通信系统的研究在整个集群系统中占有非常重要的地位。本文在研究了Myrinet公司提供的运行在Myrinet网络上的高性能通信协议GM及扩展协议MNC基础上,设计并实现了基于用户态共享内存的SMP/Scheme协议。本协议具有本地通信进程间、节点间不同进程的数据快速传输特性。
　　本文的主要工作如下:
　　(1)分析了现阶段集群通信的发展状况,介绍了几种流行的集群通信协议和技术实现方式,并提出了集群通信面临的问题。
　　(2)有针对性地分析了Myrinet网络的特性和GM通信协议以及基于Myrinet多链路网络通信的高性能MPI实现方案。MNC协议作为GM协议的扩展,具有在硬件层进行多通道传输的特性。本文在详细分析MNC协议的基础上,设计了一种以跨平台为目标的分层开发架构,使用户在不关注细节的情况下,可以调用规范的并行开发接口,来实现基于MNC协议的多通道数据传输程序。
　　(3)在分析了现有的几种多链路通道网络通信的基础上,结合各方面的特性,设计并实现了一种开放的、可定制的、基于共享内存并由Scheme托管的多通道网络传输协议SMP/Scheme。SMP/Scheme在内存管理使用方面具有一次分配,重复使用的特点,可充分利用网络多链路通道高性能地进行数据传输。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1 课题研究的目的与意义

1.2集群技术与网络通讯发展现状

1.3 论文章节的内容安排

第二章 集群高速网络简介

2.1 快速以太网

2.2 千兆以太网（Giganet）

2.3 IEEE SCI

2.4 InfiniBand互联技术

第三章 集群通信协议简介

3.1 集群通信系统概况

3.2 高速网络Myrinet与GM协议

第四章 多链路通道网络通信

4.1 基于Myrinet/GM的多链路通信研究

4.2 分布并行开发接口

4.3并行系统中的多链路通讯研究

第五章 集群通信协议SMP/Scheme的设计与实现

5.1 多处理器集群机器的结构

5.2 多处理器集群机器通讯问题

5.3 多处理器集群通信协议SMP/Scheme设计与实现

第六章 结论与展望

6.1工作总结

6.2工作展望

参考文献

附图表

致谢

本人简历