PC Linux机群系统并行计算环境的组建与性能测试

摘要

随着计算机应用的广泛与深入,需要处理的数据量越来越大,在单台计算机处理能力有限的情况下,如何能快速、完整地处理这些数据,成为一个亟待解决的问题.并行机的出现,提供了解决这类问题的有效手段.该论文简要介绍了并行机的发展历史以及极有发展前途的机群系统的研究现状.机群系统具有良好的可伸缩性、可编程性和性价比,并且构建相对容易,特别适合中国的教育、科研部门使用.该论文详细探讨了建立机群系统的硬件条件以及支撑机群系统并行的软件.特别是对Linux操作系统、并行编程环境MPI、作业管理调度系统PBS作了详细的介绍.我们搭建PC Linux机群的目的是在其上进行并行应用程序设计,解决在单台计算机上运行时间过长的应用问题.为了更有效地解决应用问题,我们需要充分了解机群系统的性能特点,根据这些优缺点来优化改进软硬件配置、设计并行算法.该论文在组建一个小型的8节点PC Linux机群系统的基础上,全面测试分析其性能,提出优化方案.首先,利用硬件测试程序Lmbench和Stream程序测试了单个节点的处理器、高速缓存、内存、硬盘以及网络间的数据传输能力,提出了精简操作系统优化节点性能的方法,测试结果证明了此方法的有效性.机群系统属于分布式存储系统,各个节点要协同工作就需要通过网络信道通信,该论文利用Ping、Ping-Pong和群体算法测试比较了MPI的两个实现版本MPICH和LAM/MPI通信函数性能,同时设计实现了全局时钟测试算法,该算法能够测试多个节点参与下单个接收或发送通信函数的性能,并且其结果数据能够体现出延迟的时间分布性,有利于进一步分析机群系统的通信性能.再次,该论文利用著名的Linpack测试程序测试了机群系统的浮点运算能力,通过与世界TOP500的机群系统比较分析了系统性能的瓶颈所在.最后,根据机群系统通信性能相对于节点计算能力较弱的特点,我们设计符合BSP模型的并行遗传算法解决了旅行商问题,将其作为应用程序域测试程序对机群系统进行了加速比能力测试,利用人为干涉进程映射到处理器的方法减少节点间的通信量,提高了运行效率.

目录

文摘

英文文摘

独创性声明和关于论文使用授权的说明

第1章绪论

1.1研究背景

1.1.1并行计算机的应用领域

1.1.2并行技术的发展

1.2本课题的研究内容

第2章并行计算机系统及并行计算环境

2.1早期的并行计算机系统

2.2现代的并行计算机系统

2.2.1对称多处理机(SMP)

2.2.2大规模并行处理机(MPP)

2.2.3高速缓存一致性非均匀存储访问(CC-NUMA)

2.2.4机群系统(Cluster)

2.3并行计算环境

2.3.1可移植消息传递界面(MPI)

2.3.2并行虚拟机(PVM)

2.3.3其它并行开发环境

2.4本章小结

第3章PC LINUX机群系统的研究与组建

3.1机群系统的分类与构成模型

3.2机群系统的特点

3.3国内外机群系统的研究现状

3.3.1国内机群系统的研究应用现状

3.3.2国外机群系统的研究应用现状

3.4 PC LINUX机群系统的组建

3.4.1 PC Linux机群系统的组成

3.4.2 Red Hat Linux操作系统

3.4.3可移植消息传递编程环境(MPICH 1.2.4和LAM/MPI)

3.4.4批处理作业调度系统(OpenPBS 2.3)

3.4.5多处理环境(MPE)

3.5本章小结

第4章性能测试模型与测试结果

4.1硬件测试程序

4.1.1 Lmbench

4.1.2 Stream Benchmark

4.2 MPI通信性能测试

4.2.1 MPI的通信函数

4.2.2测试模型

4.2.3测试程序和结果分析

4.3 LINPACK测试

4.4本章小结

第5章PC LINUX机群的应用程序实例测试

5.1旅行商问题的遗传算法

5.2旅行商问题的并行遗传算法(PGABENCH)

5.3算法实现与测试结果

5.3.1 PGAbench算法实现

5.3.2测试结果分析与改进

5.4本章小结

结论与建议

参考文献

致谢