并行文件系统

摘要： 用户态文件系统框架(filesystem in user space,FUSE)因其相对简单快捷的开发特性被广泛应用于新型文件系统的开发过程中。但是FUSE框架在处理应用的I/O请求时存在多次用户态和内核态切换、上下文切换以及额外的内存拷贝操作,造成一定的性能开销。为减小FUSE对I/O性能的影响,提出一种绕过FUSE的方案。该方案利用动态链接技术,通过将I/O请求的接收和转发功能实现在用户空间的方式消除FUSE框架的接入。该方案针对并行日志文件系统进行了应用实现和测试,结果表明,该方案对于大块读操作的性能提升最大可达131%,对小块写操作的性能最大提升5倍左右。

摘要： 大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出.并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求.针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术.设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽.构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上.

摘要： 近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存储系统的性能问题越来越突出.为应对其性能要求,并行文件系统得到了大量的应用.然而现有的并行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同.该文基于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区的并行文件系统优化方法.首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的关系和规律,生成优化模型.其次,以优化模型为基础,辅助并行文件系统的参数调优工作.最后,基于Ceph存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行文件系统访问性能的目的.实验结果表明,所提出方法可以达到85％ 的预测优化准确率;在所提出模型的辅助优化下,并行文件系统的吞吐量性能得到约3.6倍的提升.

摘要： 在核聚变研究领域中,高性能集群的应用十分广泛.一方面需要借助集群进行高性能计算模拟托克马克中粒子的运动状态,另一方面需要存储大量十分珍贵的放电数据以作后续的数据分析.随着位于中国科学技术大学的大型反场箍缩磁约束聚变实验装置"Keda Torus eXperiment"(KTX)的建设取得重要进展,KTX实验室对于高性能计算以及实验数据存储具有高度的需求.因此,部署了一个高性能集群并对存储做出了安全设计.根据IOzone的测试,GPFS文件系统的冗余性机制发挥了作用,数据的读写性能很稳定.

摘要： GPFS (general parallel file system) is a mature parallel file system with the characteristics of high stability and expansibility, fast data reading and writing and many more,which is widely used in the server cluster of AIX and Linux operating system.Although the GPFS has high stability,it is a software which is run in the operating system and storage media,and when the operating system or storage media fails,it is not used properly.Dealing with the failures of GPFS,we need to configure and create related content of the file system with the relevant commands and different parameters.The main purpose in this paper is to explain the function and usage of the parame-ters in the GPFS,to make the maintenance staff understand and use the GPFS better.At the same time,we also discuss how to use GPFS command to solve the problem,how to effectively protect data security and data integrity,and how to restore the normal operation of file system,when the file system is in the Linux platform.%GPFS是一款成熟的并行文件系统,该系统具有稳定性好、扩展性高、数据读写速度快等特点,广泛应用于AIX和Linux操作系统的服务器集群中.虽然GPFS文件系统稳定性高,但GPFS文件系统是依托在操作系统和存储介质中的软件,当操作系统或存储介质发生故障时,也会造成GPFS文件系统无法正常使用.在处理GPFS文件系统故障时,需要使用相关命令并配合不同的参数对文件系统的相关内容进行配置和创建.文中的主要目的是为了说明GPFS文件系统相关命令及命令中各项参数的作用和使用方式,能够使维护人员更好地了解和维护GPFS文件系统.同时,也对文件系统在Linux平台中出现问题时如何有效使用GPFS命令解决故障,如何有效保护数据安全和数据完整性,及如何恢复文件系统的正常运行等方面进行探讨.

摘要： In high-performance computing environment,parallel file system faces a mega client.These clients often issue a large number of concurrent IO request to the system in the same period of time,making the metadata server under a huge pressure.On the other hand,concurrent read and write requests from these clients often relate to the same directory.It makes it difficult to schedule work load across multiple servers.Therefore,we add a proxy server between the client and the metadata server and propose corresponding optimization methods to reduce the work load of the metadata server.In this paper,we realize two aspects of optimization based on proxy server.First of all,since the high-performance computing program often access files concurrently,we consider merging the numerous requests into a big one and then sent it to metadata server.Secondly,concurrent IO from the high-performance computing program often points to the same directory.Traditional metadata load balancing mechanism commonly use sub-tree partitioning method to dispatch work load across multiple server.This method is unable to realize load balancing in the situation where all operations relate to the same directory.The paper realizes fine-grained load balancing by scheduling the operations from the same directory to the plurality of metadata servers.%在高性能计算环境中,并行文件系统面临百万量级的客户端,这些客户端往往在同一时间段内发出大量并发I/O请求,使元数据服务器承载巨大的压力.另一方面,这些客户端发出的并发读写请求往往指向同一目录,导致很难将元数据负载调度到多个服务器上.为此,提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy),并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件,可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上,降低元数据服务器的负载;2)高性能计算程序的并发I/O往往指向同一目录,而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上,无法实现针对同一目录元数据操作的负载均衡,通过代理将针对同一目录的元数据操作调度到多个元数据服务器上,实现细粒度的负载均衡.

摘要： 首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法.提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命.该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据.

摘要： The remote sensing data has many characteristics such as unstructured,formatted,huge amount of a single image and less amount of data records,the amount of most remote sensing data isn't significantly reduced after processing,and large-scale remote sensing data processing is needed.Based on the existing hardware resources,this paper designed and implemen-ted an integrated parallel system for multi-source quantitative remote sensing production in centralized cluster.In order to solve the problem of the parallel about the serial algorithm designed and developed by the remote sensing scientists and the require-ment of large scale data management,the system designed a parallel processing system based on task parallelism and an appli-cation-aware's parallel file system.The system integrated more than 30 kinds of preprocessing algorithms for multiple raw data and 50 kinds of production algorithms for multi-source quantitative remote sensing products developed by remote sensing science workers,to realize the process of workflow production,and solved the problem of large-scale production of the multi-source remote sensing quantitative products on demand.And the production process was carried out.It is confirmed that the platform has the reliability and validity in the management and processing of large scale remote sensing data.%针对遥感数据非结构化、有格式、单景数据量大、记录总量小、大部分处理过程后数据量不显著减少的特点和大规模遥感数据处理的迫切需求，基于已有硬件资源，设计和实现了集中式集群计算的多源定量遥感产品生产系统。系统为解决遥感科学工作者设计开发的算法进行并行计算的问题以及大规模数据管理的需求，设计了基于任务并行的处理系统和面向应用的并行文件系统。系统集成了遥感科学工作者开发的30多种原始数据的预处理算法和50多种多源定量遥感产品生产算法，解决了多源定量遥感产品规模化流程化按需生产的难题，并进行了产品生产，证明了系统在管理和处理大规模遥感数据时的可靠性和有效性。

摘要： 本文在介绍当今主流并行文件系统技术的基础上,结合本企业集群存储的构建实例,着重就GPFS并行文件系统的技术原理和工作机制进行了研究与集成应用.实践结果证明,通过在集群存储中采用并行文件系统技术能够有效地解决I/O瓶颈,符合地震数据运算系统吞吐量密集、存储容量大和可靠性高的要求.

摘要： 地震勘探采集技术的进步促使外业采集数据急剧增大,对资料处理系统而言大容量、高带宽、低延迟的存储性能要求随之提高.依据地震资料处理系统特点并结合snfs并行文件系统技术特点,调优高性能处理集群系统,构建了一套基于IB-SAN的snfs并行文件系统,集群聚合读、写IOPS达到40Gb/s,保障了地震资料处理高性能集群高效运行,满足了地震勘探大数据处理需求.

摘要： 地震勘探采集技术的提升造成外业采集数据急剧增大,对资料处理系统而言,大容量、高带宽、低延迟的存储性能要求随之提高.依据地震资料处理系统特点并结合SNFS并行文件系统技术特点,调优高性能处理集群系统,构建了一套基于IB-SAN的SNFS并行文件系统,集群聚合读、写IOPS达到40Gbit/s,保障了地震资料处理高性能集群高效运行,满足了地震勘探大数据处理需求.

摘要： 本文通过利用开源软件,使用廉价的直联存储实现了存储文件系统的并行化,既节约了设备成本,又提高了I/O的存储性能,为大规模资料处理中心的存储使用提供了一种新的使用方法.通过对Gluster并行文件系统的研究与优化以及实际应用,基本上达到了目前国内同行业存储应有的性能,希望能够给大家在存储方面的应用提供一些借鉴.集群存储一般分为直联存储( DAS)、网络存储(NAS)和存储区域网络(SAN)存储3类。GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。GlusterFS文件系统也是一种C/S（客户端／服务器）结构。因此，其安装同样需要分服务器和客户端两方面。目前，GeoEast应用主要是Infortrend直联存储（使用NFS方式）和云存存储(NAS+并行)，所以主要把GlusterFS（主要也是使用Infortrend直联盘作存储池）与上述两种存储性能进行比较。GlusterFS并行文件系统底层还是依赖于目前的直联存储系统。因此，提高直联存储的性能，也就可以相对提高GlusterFS的性能，基于该特点，GlusterFS并行文件系统调优策略可以从底层文件系统、操作系统内核、机头组合、配置文件的优化4点考虑。通过对GlusterFS并行文件系统的研究，利用廉价的直联存储实现了存储的并行化，并在实际生产中得以应用与实践。一方面提高了直联存储的性能，基本上达到国内同行业存储的性能，探索出了直联存储并行化的应用模式；另一方面也可以节省大量的购买品牌并行存储的设备成本。当然，对于GulsterFS并行文件系统的研究还有待于进一步深入探讨，比如，安全性的问题和使用过程可能出现的各种问题等，都需要我们在今后的应用过程不断完善和改进，使得GlusterFS并行文件系统能够广泛地应用于资料处理过程。

摘要： 对某并行文件系统的I/O性能进行分析和测试.从软件结构和硬件部署结构等方面对某并行文件系统进行简要介绍,分析并总结影响其I/O性能的因素(I/O性能因子),设计测试用例,重点对前端文件系统(FFS)的性能因子进行测试,并分析测试结果,给出优化建议.分析和测试表明,合理的I/O策略和文件系统配置能够极大提升并行文件系统I/O性能.

摘要： 在并行程序性能分析工具中，事件跟踪技术所生成的性能数据首先被存放在桩函数的缓冲区中。在千万亿次计算机上,当缓存区的数据容量超过设定的阈值时，桩函数会将缓冲区中的性能数据通过并行文件系统转储至存储系统中。然而这种转储方法可能会导致并行程序的执行时间变长而且不稳定，造成执行时间发生变化的一个原因就是通过并行文件系统对性能数据进行转储可能会增加性能数据的容量，从而间接影响并行程序的执行时间。论文首先通过一系列的实验验证数据转储对性能数据容量的影响，然后提出动态时间补偿算法以解决此类问题，最后将该算法进行了实现并通过实验证明了算法的有效性。

摘要： 并行I/O技术有效优化了I/O性能，但对访问延迟却难以控制.相变存储器(phase claangememory，PCM)作为一种SCM(storage class memory)，具有非易失性、随机可读写、低延迟、高吞吐率、体积小和低功耗的特点，为I/O性能优化提供了最直接有效的途径.研究了PCM的特性与存在的问题，总结了目前PCM的应用研究进展，针对高性能计算中的并行I/O问题，提出了一种基于相变存储器PCM的层次式并行混合存储模型，能够有效提高并行文件系统元数据服务效率和并行I/O吞吐率.

摘要： 大规模数值模拟数据对可视化分析提出了挑战，I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式，介绍了HDF5的抽象数据模型、数据读写流程，并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大。根据数值模拟数据的数据块以整数有规律编号的特点，通过在HDF5中增加数据块视图对象来提高读性能.测试表明，该方法可显著加速数据的读取性能.

摘要： 大规模数值模拟数据对可视化分析提出了挑战，I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式，介绍了HDF5的抽象数据模型、数据读写流程，并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大。根据数值模拟数据的数据块以整数有规律编号的特点，通过在HDF5中增加数据块视图对象来提高读性能.测试表明，该方法可显著加速数据的读取性能.

摘要： 大规模数值模拟数据对可视化分析提出了挑战，I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式，介绍了HDF5的抽象数据模型、数据读写流程，并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大。根据数值模拟数据的数据块以整数有规律编号的特点，通过在HDF5中增加数据块视图对象来提高读性能.测试表明，该方法可显著加速数据的读取性能.

摘要： 本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)文件服务器接收客户机的利用并行文件访问协议对所述存储子系统中由所述文件系统存储的文件的访问的请求。如果文件系统已经选定作为该文件的元数据管理器的文件服务器，那么该文件服务器利用选定的文件服务器协调对所述文件的元数据的访问。如果文件系统没有选定作为该文件元数据管理器的文件服务器，那么文件系统选择接收所述请求的文件服务器作为所述文件的元数据管理器，直到接收到文件关闭请求操作。

摘要： 本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)一个文件服务器接收客户机利用并行文件访问协议对存储子系统中由文件系统存储的文件的访问的请求。如果文件系统已经选定作为该文件的元数据管理器的文件服务器，那么文件服务器利用选定的文件服务器协调对该文件的元数据的访问。如果文件系统没有选定作为该文件元数据管理器的文件服务器，那么文件系统选择接收所述请求的文件服务器作为所述文件的元数据管理器，直到接收到文件关闭请求操作。文件服务器然后为该文件执行向被选定作为元数据管理器的文件服务器的文件打开请求操作。文件服务器然后打开该文件并且创建该文件的文件句柄。文件服务器然后在文件句柄中对被选定作为所述文件的元数据管理器的文件服务器的文件服务器ID进行编码，以使文件系统的文件服务器能够识别哪一个文件服务器为该文件的元数据管理器。文件服务器然后向客户机返回文件句柄用于执行对所述文件的I/O。

摘要： 本发明是一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法，所述架构在客户端设备部署有重复数据删除系统文件访问接口，重复数据删除网关上部署有重复数据删除处理引擎和数据迁移系统，并行文件系统提供访问接口给客户端设备和重复数据删除网关，重复数据删除处理引擎和数据迁移系统实现对文件数据的重复数据删除、还原及迁移处理。本发明方法将并行文件系统中达到迁移条件的数据迁移到重复数据删除文件系统中存储，对迁移的数据进行重复数据删除，实现从客户端设备读取已迁移数据的操作。本发明在已有并行文件系统中透明地加入重复数据删除文件系统，降低对业务系统的影响，节省了存储空间，降低了数据中心管理成本和能耗成本。

摘要： 本发明提供了一种对并行文件系统进行文件布局提取的方法和装置，通过分离数据和元数据的管理与存储，避免了数据访问对元数据访问性能的干扰，简化元数据一致性的管理，也方便了元数据的性能优化，元数据服务器选取专用元数据存储设备，建立专用元数据文件系统，并行文件系统目录树、文件元数据等以文件的形式存储于元数据文件系统，元数据文件系统以B+树形式组织文件，提供了快速的文件读取性能。

摘要： 并行文件系统的元数据文件布局管理方法属于文件系统领域，其特征在于：文件系统采用扩展块分配方式对文件进行组织；元数据服务器接收到用户请求后，对相应文件布局中的扩展块进行快速分配、划分、合并及释放等操作，达到文件布局的获取、提交或调整的要求，实现对文件布局的优化管理。本方法采用满足最低要求原则，应答请求对应的最小扩展块集合，因而最大程度满足多用户同时对同一文件的操作，提高了系统的并行性；同时采用扩展块实时合并策略以保证文件布局最大程度连续，优化存储，减少文件布局寻道时间，提高了文件系统性能。

摘要： 本发明提供了一种并行文件系统IO优化方法与系统，本发明通过分层分步对Tstor3000文件系统进行调优，分别从设备BIOS、底层存储设备、系统IO调度以及文件系统配置四个方面对文件系统IO进行优化：通过服务器CPU性能调优实现设备BIOS的优化；通过底层文件系统的选择、格式化参数以及挂载参数的优化实现底层存储设备的优化；通过IO参数的优化实现系统IO调度的优化；通过meta、storage、客户端以及网络的优化实现文件系统配置的优化。通过本发明的调优，集群性能得到了大幅提升，在一定硬件条件下，最大发挥硬件性能，提升集群吞吐量，本发明在不增加硬件成本的情况下，相比其他产品，性能优势更具有竞争力。

摘要： 本发明公开了一种并行文件系统中降低访问延迟的IO请求调度方法及系统，本发明方法包括对并行文件系统的客户端访问服务端存储设备的IO请求计算并标注延迟敏感度；在多个IO请求发生竞争的条件下，优先调度延迟敏感度较高的IO请求以减少其在竞争拥塞情况下的排队时间、达到降低延迟的目的。本发明目标是在IO请求竞争条件下降低部分IO请求的等待时间Tw，从而降低客户端应用所感知到的IO响应延迟，可用于提高包括大规模高性能计算机系统在内的各类使用并行文件系统的计算机系统针对高带宽和低IO延迟的混合需求的典型工作负载的综合处理性能。

摘要： 本发明是一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法，所述架构在客户端设备部署有重复数据删除系统文件访问接口，重复数据删除网关上部署有重复数据删除处理引擎和数据迁移系统，并行文件系统提供访问接口给客户端设备和重复数据删除网关，重复数据删除处理引擎和数据迁移系统实现对文件数据的重复数据删除、还原及迁移处理。本发明方法将并行文件系统中达到迁移条件的数据迁移到重复数据删除文件系统中存储，对迁移的数据进行重复数据删除，实现从客户端设备读取已迁移数据的操作。本发明在已有并行文件系统中透明地加入重复数据删除文件系统，降低对业务系统的影响，节省了存储空间，降低了数据中心管理成本和能耗成本。

摘要： 本发明提供了一种对并行文件系统进行文件布局提取的方法和装置，通过分离数据和元数据的管理与存储，避免了数据访问对元数据访问性能的干扰，简化元数据一致性的管理，也方便了元数据的性能优化，元数据服务器选取专用元数据存储设备，建立专用元数据文件系统，并行文件系统目录树、文件元数据等以文件的形式存储于元数据文件系统，元数据文件系统以B+树形式组织文件，提供了快速的文件读取性能。

摘要： 并行文件系统的元数据文件布局管理方法属于文件系统领域，其特征在于：文件系统采用扩展块分配方式对文件进行组织；元数据服务器接收到用户请求后，对相应文件布局中的扩展块进行快速分配、划分、合并及释放等操作，达到文件布局的获取、提交或调整的要求，实现对文件布局的优化管理。本方法采用满足最低要求原则，应答请求对应的最小扩展块集合，因而最大程度满足多用户同时对同一文件的操作，提高了系统的并行性；同时采用扩展块实时合并策略以保证文件布局最大程度连续，优化存储，减少文件布局寻道时间，提高了文件系统性能。