基于通信优化的多MIC协处理器平台上的并行编程研究

摘要

未来高性能计算机的发展趋势是在单个计算节点之内使用多个加速部件，更为复杂的体系结构使得通信效率成为了获得更高性能的主要因素之一。因此本文基于通信优化这一关键问题，进行了新型的单节点多MIC协处理器平台上的并行编程研究。
　　首先，为了实现单节点内多个协处理器与主机端CPU的高效通信，本文对比研究了三种编程方式，包括基于对等模式的MPI-OpenMP编程方法，基于卸载模式的传统的pragma编程方法，以及本文新提出的基于卸载模式的COI-SCIF编程方法。MPI-OpenMP方式的编程及优化与传统的CPU集群相同；第一种卸载模式的编程方法较为通用，是由编译器的pragma指令实现；而第二种卸载模式的方法结合使用了Intel提供的底层接口coprocessor offload infrastructure（COI）和symmetric communication interface（SCIF），以实现低延迟的通信。虽然以pragma为基础的编程方式更为简单，但COI-SCIF的编程方式有以下的优点：卸载代码段开销更低，数据传输带宽更高，计算与数据通信能够实现更好的异步重叠等。底层的COI-SCIF编程方式可以更细粒度的控制数据传输，与对等模式的MPI-OpenMP方式相比也显示了很好的性能效果。其次，考虑到整个异构集群上的并行编程和通信优化，针对集群中多种设备高效协同计算的问题，本文面向Stencil结构化网格类计算，研究了一种基于高效通信的混合编程模型。通过结合使用MPI、OpenMP、COI、SCIF等多种编程技术，完成模型的整体设计，提出了一种较为合理的负载均衡策略，并通过任务划分、通信隐藏等技术实现层次流水线式通信优化，达到多层次高效率的通信计算目标。
　　本文的所有实验都是基于一个以Stencil结构化网格计算为基础的真实三维应用实现；实验平台为当前排名世界第一的天河-2号超级计算机。通过详尽的测试，分析对比了单节点上MPI-OpenMP、pragma和COI-SCIF这三种不同编程方式的通信带宽与性能，展现了基于系统级接口的COI-SCIF编程模式的优势；多节点上，首先对基于高效通信的混合编程模型的负载划分策略进行测试与验证，得出了最优的负载划分结果；在最优负载设置下，分析对比应用通信优化策略前后的性能结果；本文在最后给出了上述编程模型指导下实现、在天河-2号上大规模长时间模拟，所得出的病态心脏细胞纳米精度的钙动力学模拟结果。
　　本文所进行的基于通信优化的单节点多MIC协处理平台上的混合编程研究，不仅为单节点-多加速器这类新兴体系结构提供了进一步深入研究的经验与参考，同时也为未来天河-2号超级计算机的高效充分利用提供了良好开端。

目录

声明

第一章 绪论

1.1 研究背景

1.2 课题简介

1.3 研究现状

1.4 论文结构

第二章 Stencil结构化网格类计算与协处理器并行编程基础

2.1 基于Stencil计算的真实世界三维模型应用

2.2 MIC协处理器与天河-2号

2.3 并行编程技术基础

2.4 本章小结

第三章 单节点内多协处理器间的通信优化

3.1 编程模式和方法

3.2 三种编程方式的具体实现

3.3 本章小结

第四章 多节点上基于高效通信的混合编程模型

4.1 混合编程模型整体策略

4.2 负载均衡研究

4.3 通信开销隐藏策略

4.4 本章小结

第五章 实验测试结果与分析

5.1 实验平台

5.2 节点内通信带宽测试与分析

5.3 真实世界的三维应用性能结果

5.4 病态心脏细胞纳米精度的钙动力模拟

5.5 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

致谢

参考文献

作者在学期间取得的学术成果