克希霍夫时间偏移在GPU集群上的MPI/UDA混合编程实现

摘要

本文介绍了二维/三维克希霍夫时间偏移计算在GPU集群上的MPI/CUDA混合编程实现.系统的主体结构基于经典的主从模式,采用MPI进程-pthread线程-CUDA线程三个层次的并行架构,以及CPU/GPU协同计算并行架构和策略来设计实现.每个计算节点由一个多核CPU和多个GPU设备组成.输入数据在主节点上载入,平均分配到从节点上,存储到相应的磁盘空间内,并根据各节点的可用资源将数据划分为多块.每个从节点分别接收主节点发送的数据并存储到本地磁盘上的临时文件内.根据检测到的可用GPU设备数,每个从节点上创建同样数目的线程来一对一控制各个GPU.各从节点上每个数据块再进一步划分为大小相等的块一一分配给各个线程,由每个线程逐道在CPU上预处理后传送到GPU上处理,道内的各成像点分别由各CUDA线程并行处理.每个数据块偏移由每个线程内的相关道累加计算而得,结果返回到主节点上累加后输出到磁盘文件内.在实现过程中,采用CPU/GPU协同计算以及线性插值走时的方式来进一步提高性能.系统性能在一典型异构GPU集群上测试,每个节点由一个配置8GB内存的四核CPU,以及配置6GB显存的C1060型号的GPU组成.对于不同的规模和积分计算模式,在该平台上的测试结果表明,本文实现的系统的性能对于包含相同计算节点数、每个节点上4个线程并行计算的MPI版本,可以达到平均约5～10倍的加速.