神威·太湖之光上分子动力学软件的实现与优化

摘要

神威·太湖之光是我国自主研制的新一代超级计算机系统，全系统峰值性能为每秒12.54亿亿次，持续运算速度为每秒9.3亿亿次，均位居当今世界第一。该系统采用了40960颗申威26010众核处理器，共计1040万个处理器核心。申威26010处理器采用64位自主设计的申威指令系统和自主核心技术，核心工作频率1.45GHz，峰值性能每秒3.168万亿次浮点计算。神威·太湖之光通过构建自己的软硬件体系以保障从软件和硬件两个方面实现超级计算机系统的完全自主安全可控。由此带来的问题是，现有的应用软件无法通过简单的移植运行在该系统上，而是需要结合该系统的结构特点进行重新实现和优化。NAMD是一款基于Charm++并行编程模型的开源分子动力学模拟软件，能够在大规模并行计算机上快速模拟百万原子级别的大分子体系，曾获得过美国三大工程奖之一的戈登·贝尔奖，广泛应用于物理，化学，生物，材料，医学等各个领域。本文的研究目标是突破前人在十亿亿次系统上移植和优化NAMD软件遇到的一系列挑战性难题，在芯片级和系统级探索在神威·太湖之光上提升并行效率的方法，为其它大规模并行软件的移植和优化提供借鉴。
　　本文的研究工作及成果主要包括:
　　(1) NAMD软件在神威·太湖之光上的实现。通过深入分析NAMD的软件结构，热点计算函数，计算、访存、通信和I/O特征，以及Charm++并行编程模型和运行时，将其计算任务进行切分，并消除任务间的依赖关系，从而实现了NAMD软件在申威处理器上的并行实现方案。在移植NAMD依赖的第三方库时，采用交叉编译实现了TCL，FFTW和Charm++在申威处理器上的移植。
　　(2) NAMD软件在申威众核处理器上的芯片级优化。针对NAMD软件运行时特征和申威处理器结构特点，提出单节点上的优化方案，对NAMD软件进行软硬件一体化优化，包括数据访存优化，处理器内部工作模式优化以及针对处理器硬件特性做出的优化等。实验分析表明，优化后的程序性能较优化前提高了20倍左右。
　　(3) NAMD软件在神威·太湖之光上的系统级优化。针对神威·太湖之光超大规模系统结构特点，提出了一种新的任务划分和负载平衡控制模型，解决了在超大规模下多机并行效率问题。实验分析表明，采用新的模型，当计算规模扩展到500万个原子时，可扩展至50000核组（325万核），程序性能提高了将近一倍。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．1．1 神威·太湖之光简介

1．1．2 申威处理器介绍

1．1．3 超级计算机对生物技术发展的影响

1．2 分子动力学软件在神威·太湖之光上实现与优化面临的挑战

1．2．1 软件实现面临的挑战

1．2．2 芯片级优化面临的挑战

1．2．3 系统级优化面临的挑战

1．3 论文研究目标和主要工作

1．3．1 分子动力学软件NAMD在神威·太湖之光上的实现

1．3．2 分子动力学软件NAMD在神威·太湖之光上的优化

1．4 论文结构

第2章 相关工作

2．1 NAMD软件简介

2．1．1 软件简介

2．1．2 版本历史介绍

2．1．3 主要功能和应用场景

2．1．4 Charm++介绍

2．2 软件设计思想

2．3 NAMD软件在GPU和MIC平台上的移植与优化

2．3．1 GPU上NAMD软件的移植与优化技术

2．3．2 Xeon Phi上NAMD软件的移植与优化技术

2．4 超级计算机上的优化

2．5 本章小结

第3章 NAMD软件结构和行为特征分析

3．1 软件组成结构分析

3．1．1 软件核心计算流程

3．1．2 软件接口

3．1．3 核心代码

3．1．4 输入输出文件数据分析

3．2 软件执行流程分析

3．3 程序运行时行为特征分析

3．3．3 计算，通信，访存以及I／O特征分析

3．4 本章小结

第4章 NAMD软件在神威·太湖之光上的实现

4．1 第三方库的移植

4．1．1 TCL移植

4．1．2 FFTW移植

4．1．3 CHARM++移植

4．2 NAMD移植

4．3 NAMD核心代码在申威处理器上的重新实现

4．4 正确性验证

4．5 本章小结

第5章 NAMD软件在神威·太湖之光上的优化

5．1 优化前基准性能测试

5．1．1 测试环境

5．1．2 测试算例

5．2 数据访存优化

5．2．1 利用从核内存减少从核频繁访问主核内存

5．2．2 通过DMA方式来降低主从核之间数据交换时间

5．2．3 数据重构

5．3 硬件特性优化

5．3．1 SIMD优化

5．3．2 寄存器通信优化

5．4 工作模式优化

5．4．1 主从核协同工作模式

5．4．2 计算存储分离工作模式

5．5 任务分发和负载平衡控制新模型

5．5．1 整机并行下存在的问题

5．5．2 任务拥塞解决策略

5．6 优化后性能分析

5．6．1 申威处理器上的分析

5．6．2 整机系统性能分析

5．7 本章小结

第6章 全文总结

6．1 研究工作总结

6．2 本文创新点

6．3 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果

在读期间参与的科研项目