基于超级计算机的并行FDTD关键技术与应用

摘要

电磁场与电磁波在生产生活中发挥着越来越重要的作用。数值计算具有精确高效、灵活方便等显著优势，因此成为电磁特性分析与设计的现代化手段，也日益发挥着越来越重要的作用。时域有限差分(FDTD)法作为电磁场三大经典数值方法之一，具有自己独特的优势。对于电大尺寸及具有复杂（细小）结构的电磁目标仿真，巨大的内存资源和计算时间消耗成为了该算法的限制因素。随着当今计算机软硬件的飞速发展，大型计算机集群为大规模复杂电磁问题的解决提供了可能。利用计算能力更强的平台来求解大规模电磁场问题成为计算电磁学领域中的热点和挑战之一。作为大型计算机集群中新兴的纯国产计算机而言，由于其编译器等环境都是针对国产CPU的架构自主开发的，与通用计算机平台的环境存在着较大的差异，且在纯国产超级计算平台中对电磁应用领域进行相关的研究工作具有更高的安全性，因此在国产计算机中对自主开发的并行FDTD算法程序进行移植和测试显得尤为重要。作为提升求解效率的重要手段，采用新型的硬件资源国产众核处理器，可进一步加速求解速度，缩短数值计算的时间。
　　基于上述原因，本文基于国内超级计算机硬件平台，对并行FDTD算法的性能优化及其大规模应用进行了深入研究。本文的主要工作可以概括为:
　　(1).基于FDTD方法的运算特性，采用笛卡尔(Cartesian)拓扑结构来描述整个计算空间子区域间的逻辑关系，实现了基于MPI的并行FDTD方法，并建立影响并行FDTD并行效率性能的数学模型。通过理论分析，提出可获得较高并行性能的虚拟拓扑选取理论准则。同时给出一种采用并行策略实现基三角面片模型来提取FDTD立方体模型的方法，使得核心程序与模型无关，相比于串行建模法，极大的提高了建模速度。当问题规模较大时，效率可提升60％以上;
　　(2).基于上述理论准则，在国家超级计算天津中心和国家超级计算深圳中心两个通用平台上对并行FDTD虚拟拓扑优化进行了大量测试验证工作。通过对天津中心测试结果的分析，得出跨节点通信少的虚拟拓扑可获得较好的并行性能。而通过对深圳中心测试结果的分析，得出在整个通信任务中，占主要通信任务的通信量小时，算法可获得较好的并行性能。综合两个通用平台上的结果以及数学模型得出的理论准则，给出通用平台上并行FDTD最优化虚拟拓扑的一般性准则，即:a、基本准则是选择拓扑使得总通信量最小;b、通信总量相当的情况下，跨节点通信少的拓扑结构性能一般较好;c、跨节点通信量相当时，选择通信负载较为均衡的拓扑。基于该准则，计算时可获得较高的并行性能;
　　(3).考虑到纯国产CPU的计算机与通用计算机平台的区别，研究了纯国产平台上并行FDTD方法获得高效率的虚拟拓扑准则。受限于国产CPU的内存，整个测试采用分段测试的方式进行。通过对测试结果的分析，得出了与通用平台上基本一致的最优化虚拟拓扑选取准则;
　　(4).基于国产众核平台的特点，对并行FDTD方法进行了算法上的移植。并针对国产众核平台上独有的编程方式，对并行FDTD方法的并行策略进行了优化。通过对多个算例模型的测试，得出了在国产众核平台上算法的加速性能;
　　(5).在不同的测试平台上，对FDTD的并行性能进行了测试。在纯国产CPU计算机平台上突破了10万核，以128 CPU核为基准，算法在10240 CPU核时的并行效率仍可达67％以上。在通用平台上突破了30万核，以6万CPU核为基准，算法在30万CPU核时的并行效率可达80％以上。在国产众核平台上突破了400万核，最大计算Yee网格量约为1万亿;值得指出，根据2015年5月的查新报告显示，这是目前国际上最大并行规模的国产电磁仿真应用。
　　(6).在不同的超级计算机平台上就几种典型的电磁应用进行了仿真分析，包括天线的辐射特性分析、载机平台的散射特性分析、机载天线的受扰方向图分析以及雷电袭击飞机时，飞机周围的近场分析等;
　　(7).基于GiD软件进行了二次开发，形成了一套自主可控的并行FDTD软件。通过该软件可实现从建模、参数设置、媒质赋值、MESH剖分、计算和后处理显示等一体化过程。

目录

声明

摘要

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1．1 研究背景及意义

1．2 研究状况

1．2．1 并行FDTD研究现状

1．2．2 高性能计算机集群的发展

1．3 本文的主要内容和写作安排

第二章 FDTD的基本理论

2．1 引言

2．2 FDTD的基本方程

2．3 FDTD法的数值稳定性和色散特性

2．4 FDTD的激励源设置

2．4．1 同轴馈电

2．4．2 线天线馈电

2．4．3 平面波源入射

2．4．4 矩形波导的激励方式

2．4．5 微带线馈电

2．5 FDTD的吸收边界条件

2．6 FDTD的近远场变换

2．7 本章小结

第三章 并行FDTD方法的虚拟拓扑优化

3．1 引言

3．2 并行计算基础

3．2．1 硬件平台

3．2．2 软件环境

3．2．3 并行性能评测因素

3．3 并行FDTD方法

3．4 基于计算区域划分的并行策略

3．5 FDTD并行效率影响因素

3．6 FDTD并行自动网格剖分技术

3．7 本章小结

第四章 通用CPU平台上并行FDTD方法的优化

4．1 引言

4．2 通用平台虚拟拓扑分析

4．2．1 国家超级计算天津中心

4．2．2 国家超级计算深圳中心

4．3 通用平台最优拓扑一般性规律

4．4 本章小结

第五章 国产CPU平台上并行FDTD方法的优化

5．1 引言

5．2 国产CPU编译环境

5．3 并行FDTD算法移植

5．4 国产平台虚拟拓扑分析

5．5 国产平台最优拓扑一般性规律

5．6 本章小结

第六章 国产众核平台上并行FDTD方法的优化

6．1 引言

6．2 编程方式简介

6．2．1 SWACC编程方式简介

6．2．2 使用加速线程库编程简介

6．3 并行FDTD算法移植

6．3．1 主从核数据传递

6．3．2 从核任务空间区域划分

6．3．3 数组打包

6．4 并行性能测试

6．4．1 测试模型

6．4．2 从核可扩展性测试

6．4．3 万核级性能测试

6．4．4 三十万核级性能测试

6．4．5 四百万核级性能测试

6．5 加速性能测试

6．5．1 主从核模式与单独主核模式对比

6．5．2 SW5众核与Intel CPU对比

6．6 本章小结

第七章 并行FDTD方法的并行性能测试

7．1 引言

7．2 通用计算平台测试

7．2．1 千核规模

7．2．2 万核规模

7．2．3 十万核以上规模

7．2．4 三十万核规模

7．3 国产计算平台测试(十万核规模)

7．4 本章小结

第八章 并行FDTD方法的大规模应用

8．1 引言

8．2 天线阵列的辐射特性分析

8．2．1 伞形微带天线阵列

8．2．2 288单元微带天线阵

8．2．3 1984单元椭圆微带天线阵

8．2．4 3480单元微带天线阵

8．2．5 3968单元双面阵

8．3 载机平台的散射特性分析

8．3．1 飞机Ⅰ

8．3．2 飞机Ⅱ

8．3．3 飞机Ⅲ

8．3．4 飞机Ⅳ

8．3．5 飞机Ⅴ

8．4 机载天线的受扰分析

8．4．1 机载超短波天线

8．4．2 机载微带相控阵

8．4．3 大型机载微带天线阵

8．5 飞机在雷电放电下近场模拟

8．6 本章小结

第九章 二次开发的并行FDTD软件

9．1 引言

9．2 基于GiD的二次开发

9．3 定制打包的FDTD软件

9．3．1 建模

9．3．2 参数设置

9．3．3 Mesh剖分

9．3．4 后处理参数设置

9．3．5 后处理显示

9．4 本章小结

第十章 结束语

参考文献

致谢

作者简介