基于国产高性能计算机的GRAPES性能优化研究

摘要

数值天气预报系统是一个高性能计算技术与数值天气预报技术结合的综合性学科。数值天气预报技术的发展是推动高性能计算机发展的重要动力,而高性能计算的发展为数值天气预报系统采用更加复杂准确的预报模型提供了软硬件基础。近年来,高性能计算机的性能不断攀升,出现了以异构众核处理器为组建部件的异构高性能计算机。与传统的单核或多核处理器相比,异构处理器的存储体系和访存方式发生了巨大的变化,需要研究新的并行计算方法发挥异构高性能计算机的体系结构优势。
　　GRAPES是我国自主研发的新一代研究/业务数值天气预报系统,其通信模式和计算过程复杂,代码量高达十万余行。如何利用新一代国产异构高性能计算机的体系结构优势,提高 GRAPES模式在国产高性能计算机上的运算效率和计算速度,达到实际数值预报业务的时限要求,改善 GRAPES模式在大规模并行时的可扩展性,是亟待研究的问题。
　　本文研究了GRAPES的计算原理,对GRAPES程序结构进行了分析并找到影响 GRAPES并行效率和可扩展性的热点子程序。通过对国产高性能计算系统的深入了解,构建了实验所需的MPI并行环境。针对模式I/O及初始化部分“通信热点”集中,系统消息缓存过大等问题,为各个子程序分别设计了高效的通信策略,有效提升了程序的可扩展性和运行速度,其中部分子程序的性能提升达到5倍以上。对于模式迭代积分过程,设计了“粗粒度MPI并行+细粒度众核并行”多级异构并行方案,充分利用异构高性能计算机的体系结构优势,使用数量众多的协处理器为 GRAPES模式的迭代积分过程提供加速效果,并提出了几种多级异构并行方案的优化策略,有效提升了该方案的并行效率,在使用4096至256颗处理器核进行10天预报迭代积分过程时,可分别减少1至6个小时不等的运行时间。
　　通过使用两种不同分辨率的输入数据,在多个并行规模下对优化方案进行测试,得到了程序各部分消耗的墙钟时间,并计算了程序的加速比和并行效率。实验结果表明,本文设计的各种优化方案有效地提高了GRAPES模式的运行效率,改善了GRAPES模式的可扩展性,充分发挥了异构众核处理器的优势,使GRAPES模式能够达到实际数值预报业务的时限要求。
　　此外,本文提出的多级异构并行计算方案和优化策略不仅适用于数值天气预报系统GRAPES,也适用于其他具有多重循环的高性能计算课题,具有一定的推广意义。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2课题来源及目的

1.3本文主要研究内容

第二章 消息传递接口及实验平台综述

2.1 消息传递编程规范

2.2 MPI并行环境构建

2.3硬件环境介绍

2.4 本章小结

第三章 程序结构及性能分析

3.1 GRAPES程序结构

3.2 GRAPES并行区域分解方案

3.3程序性能数据获取及分析

3.4本章小结

第四章 GRAPES模式I/O及初始化优化

4.1 grapes_input子程序优化方案设计与实现

4.2 colm_init子程序优化方案设计与实现

4.3 模式输出子程序优化方案设计与实现

4.4本章小结

第五章 GRAPES异构并行算法研究

5.1众核并行编程模型介绍

5.2 GRAPES多级混合并行编程方案设计

5.3众核并行编程优化策略

5.4众核并行编程的实现

5.5本章小结

第六章 实验结果与性能分析

6.1模式I/O及初始化优化结果及分析

6.2模式积分迭代过程优化结果及分析

6.3预报结果验证

6.4本章小结

第七章 总结与展望

7.1全文工作总结

7.2进一步研究的展望

参考文献

致谢

攻读学位期间发表的学术论文