面向大规模并行计算的LBM-FVM耦合模拟关键技术研究

摘要

随着高性能计算的发展，以解决大规模科学与工程问题为背景的科学计算成为继理论分析和实验研究之后的第三大研究和探索自然的手段。CFD应用是科学计算的一个重要分支，高性能计算机性能的不断提升给CFD应用带来了新的机遇。然而，面向实际应用的大规模三维CFD应用问题对计算资源及模拟效率带来了更加严峻的挑战。CFD的应用发展受到两方面条件的制约：数值方法是实现高效并行模拟的关键因素，然而单一数值方法难以兼顾有效性、计算效率、及可扩展性等方面要求；模拟框架是实现高效并行模拟的重要依托，当前的CFD模拟框架的发展与大规模、跨领域、多数值方法的应用环境并不相适应。
　　本课题以粘弹流应用为切入点，首次针对面向大规模并行计算的LBM-FVM耦合模拟关键技术展开了相关研究。基于当前发展成熟及有应用前景的数值机制，设计了LBM-FVM耦合模拟数值方法。基于此耦合模拟数值算法以及现有开源CFD软件框架，设计了LBM—FVM粘弹流耦合模拟框架。对耦合模拟框架中的并行划分及耦合模拟两个基本环节进行了优化，提出了面向耦合模拟的自适应稀疏块图划分优化方法以及基于多级混合并行优化方法。最后，基于典型的粘弹流benchmark使用耦合模拟框架及对耦合模拟方法进行了综合验证。
　　LBM-FVM耦合模拟数值方法既可以保持FVM方法的有效性和通用性，又可以引入LBM的高效性和高可扩展性；LBM-FVM耦合模拟框架的层次化设计可以屏蔽底层平台实现细节，实现跨领域协作及两种数值方法的高效耦合，获得更为高效的模拟性能。LBM-FVM耦合模拟相关思想和方法可以推广到其他数值方法耦合的研究领域。因此，研究LBM-FVM耦合模拟相关技术对促进CFD并行框架以及耦合模拟技术的发展具有重要的意义。
　　论文主要内容及创新点包括：
　　1、设计了LBM-FVM耦合模拟数值方法
　　基于粘弹流应用背景及LBM和FVM数值算法的特点，提出了使用LBM和FVM方法分别模拟不可压NS方程和本构方程的LBM-FVM耦合模拟数值方法：以雷诺数相等为条件严格定义了LBM和FVM方法之间的参数转换过程及数学公式；建立了LBM网格和FVM网格之间在不同空间维度及边界条件下的空间映射关系；提出了LBM和FVM耦合模拟粘弹流时的等时间步及异时间步两种时间步进机制；最后设计了统一的LBM-FVM粘弹流耦合模拟数值算法框架。基于该耦合模拟数值方法，研究者可以准确的模拟粘弹流的流动行为，提高模拟过程的效率及可扩展性；此数值方法可推广到LBM与其它宏观数值算法耦合模拟的应用场景。
　　2、设计了LBM-FVM耦合模拟框架
　　基于LBM-FVM耦合模拟数值算法以及现有开源CFD软件框架，设计了LBM—FVM粘弹流耦合模拟框架：框架采用高内聚、低耦合的层次化结构，集成了LBM求解、FVM求解、空间耦合、时间耦合、单位转换等核心功能模块，并设计了规范的模块调用接口和配置文件格式；为了实现大规模并行耦合处理，框架采用基于网格分块及场数据格式的SPMD并行模式，并建立了耦合模拟并行划分工具及统一的IO架构。基于该耦合模拟框架，研究者可以简化粘弹流耦合模拟开发流程，实现跨领域协作，便于大规模并行处理及优化。
　　3、提出了面向耦合模拟的自适应稀疏块图划分方法
　　根据LBM-FVM耦合模拟过程的特点，综合考虑算法约束、负载均衡及通信约束的影响，设计了自适应稀疏块图划分方法ASBMetis。ASBMetis对模拟区域网格进行自适应分块，在简单的初级划分之后，将块的计算负载以及块之间的通信开销抽象为图结构，再次进行图划分调整过程，将块分配到各个并行处理单元。ASBMetis的分块和划分过程不断迭代，直到满足预设性能需求。实验表明，在不同几何结构下，ASBMetis均可以自适应调整分块大小以满足预设网格性能指标；划分结果的负载均衡和通信开销均大大优于原有多块及稀疏块划分方法。
　　4、设计了面向耦合模拟的多级混合并行模式
　　对耦合模拟过程中的FVM求解、LBM求解、耦合操作中的执行时间耗费进行了分析，在网格子区域粗粒度并行的基础上进一步探索细粒度并行性：FVM求解微分方程离散中的任务级并行和线性系统求解中的数据级并行、LBM求解过程中基于原子块的数据级并行、耦合操作中的数据级并行，基于MPI和OpenMP混合编程模型实现了各模块的多级混合并行处理，并为各个部分设置不同的并行度。基于该混合并行模式，研究者可以提高LBM-FVM耦合模拟过程的资源利用率、并行效率、及可扩展性。
　　5、设计了基于LBM-FVM的耦合求解器并进行了实验验证
　　我们以等温不可压粘弹流为切入点，基于LBM-FVM耦合模拟数值方法及框架，设计了基于空间插值和单时间步耦合的ILFVE数值算法和求解器，以及无空间插值和多时间步耦合的IBLF-dts数值算法和求解器；建立了科学的验证标准，基于四种具有代表性的粘弹流benchmark：Poiseuille流、Taylor-Green涡、Cavity流、以及4:1收缩流，将LBM-FVM耦合模拟求解器的模拟结果与解析解、半解析解、以及FVM PISO方法的数值解进行了比较，对耦合模拟方法的正确性和模拟效率进行了综合验证。

目录

声明

第一章 绪论

1.1 研究背景

1.2 相关工作

1.3 研究内容

1.4 主要创新

1.5 论文组织

第二章 LBM-FVM耦合模拟数值方法

2.1 研究动机

2.2 耦合模拟数值方法整体架构设计

2.3 物理参数单位系统及转换机制

2.4 LBM边界条件及空间耦合机制

2.5 耦合模拟时间步进机制

2.6 耦合模拟详细数值算法

2.7 本章小结

第三章 LBM-FVM耦合模拟框架设计

3.1 技术基础及设计思路

3.2 耦合模拟框架整体架构设计

3.3 网格及场格式设计

3.4 数据求解模块设计

3.5 SPMD并行模式设计

3.6 耦合模块设计

3.7 基本IO系统及错误恢复机制设计

3.8 本章小结

第四章 耦合模拟自适应稀疏块图划分技术

4.1 面向单一数值算法的并行划分方法

4.2 耦合并行划分问题描述

4.3 面向耦合模拟的自适应稀疏块图划分算法

4.4 实验验证

4.5 本章小结

第五章 耦合模拟多级混合并行优化技术

5.1 研究现状及动机

5.2 并行通信架构及对可扩展性影响

5.3 耦合模拟的MPI与OpenMP混合并行技术

5.4 实验验证

5.5 本章小结

第六章 LBM-FVM耦合模拟实验验证

6.1 ILFVE机制验证

6.2 IBLF-dts机制验证

第七章 结束语

7.1 研究工作总结

7.2 课题研究展望

致谢

参考文献

作者在学期间取得的学术成果