并行计算中的I/O问题研究

摘要

随着高性能并行系统的发展进步，并行计算的运用越来越受到广泛的重视，在并行计算性能提高需求增长的同时，I/O设备和CPU速度的增长率不匹配成为并行计算性能提高的主要瓶颈，所以对并行计算中的I/O问题进行研究探讨尤为重要。对I/O问题的研究，国内外学者已有成果，应用MPI（Message Passing Interface）规范对I/O问题进行研究以及此类的研究成果还很少，本论文采用MPI作为编程环境，运用两个集群系统作为实验平台，对并行计算中的I/O问题做了专题研究。
　　 本文对并行计算中的I/O问题作了分析研究。对并行计算和集群系统做了简要的介绍，通过对运用在实验中的两个集群系统进行对比，明确了集群一和集群二的异同。通过实验对并行计算中的两种基本I/O方式进行了阐述，实验证明并行I/O能实现更好的性能。论文进一步深入研究MPI规范中的MPI-IO并行I/O方式，对MPI-IO并行I/O方式的灵活性利用在数据类型方面做了实例的说明和实现，对MPI-IO并行I/O方式的特殊性在集中式I/O的应用方面进行了实验和分析，分析和实验结果显示解决I/O瓶颈问题可以通过：MPI-IO并行I/O方式的灵活性运用和对特殊应用的处理来实现。

目录

文摘

英文文摘

图表目录

第一章 引言

1.1 国内外研究的现实状况

1.2 研究的意义及主要工作

1.3 本论文的组织结构安排

第二章 并行计算与集群系统

2.1 并行计算概述

2.2 集群系统概述

第三章 并行I/O与MPI—IO

3.1 存储层次的I/O知识

3.2 对并行I/O的介绍

3.3 对MPI的介绍

3.3.1 MPI编程的实现

3.3.2 MPI—IO简介

第四章 并行计算中两种基本I/O方式研究

4.1 对两种基本I/O方式研究的条件

4.1.1 背景说明

4.1.2 划分条件

4.2 算法实现理论依据

4.2.1 串行算法

4.2.2 并行算法

4.3 非并行读写并行计算的实现

4.3.1 非并行读写的含义

4.3.2 非并行读写的实现

4.4 并行读写并行计算的实现

4.4.1 并行读写的含义

4.4.2 并行读写的实现

4.5 实验测试和分析

4.5.1 编译运行方法

4.5.2 讨论分析结果

第五章 基于MPI—IO的并行I/O方式研究

5.1 MPI—IO的并行计算方式

5.2 MPI数据类型概述

5.3 MPI—IO访问模式的分析

5.4 数据向量并行I/O的实现

5.4.1 向量数据类型

5.4.2 实现数据向量并行I/O

5.5 数据多维并行I/O的实现

5.5.1 分布数组数据类型

5.5.2 实现数据多维并行I/O

5.6 数据部分并行I/O的实现

5.6.1 子集数组数据类型

5.6.2 实现数据部分并行I/O

5.7 实验结果的分析和应用

第六章 对MPI—IO并行I/O方式应用的分析

6.1 集中式I/O

6.1.1 集中式读

6.1.2 集中式写

6.2 连续数据的实验研究

6.2.1 连续数据文件的简述

6.2.2 数据文件对性能的影响

6.2.3 进程文件对性能的影响

6.2.4 进程同步I/O实验分析

6.2.5 分析研究的结论

6.3 非连续数据的实验研究

6.3.1 非连续数据文件的简述

6.3.2 对非连续数据的I/O特点进行分析

6.3.3 分析研究的结论

第七章 全文总结和进一步工作

参考文献

致谢