MPI-IO中基于模式感知的数据重组织

摘要

近年来，高性能计算的发展使得大规模的科学计算、建模和仿真能够更快更有效地完成，为科学研究中诸多复杂问题的解决提供了巨大的契机。科学研究中常常有海量的数据需要处理，例如粒子对撞机、电子天文望远镜和核模拟等应用每秒都会产生大量的数据，需要高性能的I/0来支持。但在计算机的计算能力在以摩尔定律增长的同时，I/O的速度并没有相应地快速提高，导致其成为整个系统的瓶颈，即所谓的“I/O墙”问题。计算能力和I/O速度之间差异的日益增加成为了一个急需解决的问题。
　　 针对日益突显的I/O瓶颈问题，MPI-IO和并行文件系统被提出并得到了广泛的应用。它们以提高数据访问并行性的方式来缩小计算能力和I/O速度之间的差异。在并行文件系统中，I/O请求的数量和数据访问的连续性十分重要，但应用程序开发者一般以数据的逻辑意义来组织数据，这种方式可能带来大量的不连续的I/O请求，严重制约并行I/O系统的性能。若不考虑文件的组织方式和I/O系统的行为方式，系统的性能会极大的降低。
　　 本文通过对数据进行重组织，从而增强文件的访问模式与文件系统特性的匹配性，最终提高I/O系统的性能。本文的主要工作如下：
　　 1.本文提出了一种根据数据访问模式在I/O中件间(MPI-IO)中对文件数据进行重组织的方法，以增强数据访问的连续性并减少I/O请求的数量。在MPI-IO中对文件进行重组织的优势在于：当对文件的访问模式在这一层上被改进之后，这一层之下的所有层次都可以利用被优化了的文件访问模式，更进一步对其进行优化。本文所提出的方法通过对数据访问历史记录的分析来感知文件的访问模式，得到在此访问模式下的最优文件组织，然后对文件进行重组织。对重组织后的文件访问就会具有更优的访问模式。
　　 2.针对以上提出的优化策略，本文进行了如下设计。首先在数据访问记录中分析文件的访问模式，然后根据此模式重组织文件并建立重映射表。当再次运行此程序时，重映射表会被加载到内存中。当新的I/O请求到达时，MPI-IO首先检查此请求是否在已经建立的模式之中。如果其在已建立的模式中，那么MPI-IO中的重映射层会把这个请求中的偏移量等信息转换成在新的文件组织下的偏移量。最后，新的请求会被发往下层文件系统，实现数据的访问。
　　 3.本文在MPI-IO和PVFS2(Parallel Virtual File System2)上实现并测试了模式感知数据重组织系统。本文首先对比了模式感知系统中所提出的基于I/O签名的重映射表与其他映射表的性能。实验结果表明基于I/O签名的映射表具有更快的查询速度，并且占用更少的空间。其次，本文测试并证明了模式感知文件重组织系统对应用程序访问模式的变化有良好的容错性。再次，本文利用业界常用的IOR和MPI-TILE-IO对本系统的性能进行了测试和分析。
　　 本文所提出的数据组织方式可在原系统基础上将机械硬盘或固态硬盘读数据的性能最高提升一个数量级，对写数据的性能最高提升两个数量级。