分布式文件系统

摘要： 移动云计算技术具有易扩展、高存储、高计算能力等特点,可将其有效地应用于教学资源平台中。笔者根据教学资源平台建设的背景,结合移动云计算和教学资源平台的特点,对构成移动云计算教学资源平台的移动云计算平台层、教学资源服务层和移动应用层进行深入分析。

摘要： 浙江省历史存档的不同遥感平台、传感器、时相以及分辨率的海量影像数据,缺乏一种高效的存储管理方法。为了满足用户的高并发、多样性的数据共享服务需求,对历史存档数据进行标准化处理,设计并实现了分布式架构的海量多源遥感数据管理系统,该系统能够进行高效的定制化式的数据检索、共享以及分发等功能,满足了实际应用需求。

摘要： 为解决医疗数据的高效存储与处理分析等问题,设计并开发了医疗大数据平台。首先,搭建并部署了Hadoop分布式文件系统,设计基于Tomcat服务器搭建的网站平台。然后,通过编写Hadoop WEB API将WEB服务器与分布式文件系统相结合,设计数据处理效率高的Python脚本程序读取并统计分析医疗数据。平台运行测试结果表明,该医疗大数据平台实现了数据存储、共享、可视化展示等预期功能。

摘要： 随着气象数据的不断增长及气象服务现代化要求的提升,原有省级CIMISS系统已经无法满足业务需求。为了解决系统动态扩展能力不足、实时查询性能低下等问题,分别利用分布式网格存储系统和分布式数据库,以及分布式文件系统和NAS技术,构建基于分布式技术的气象大数据共享服务系统,实现结构化数据和半/非结构化数据的存储、共享和管理,并实现与CIMISS系统无缝对接。实践证明,该方案能极大提升CIMISS系统的数据存储能力,且并发响应能力强。相同条件下,查询性能提升22倍以上,能够有效满足未来气象业务对数据服务的要求。

摘要： 云技术是提高分布式系统灵活性和扩展性的关键技术,在航空电子系统中引入云技术可以降低产品研发周期和成本,但首先需要设计符合机载环境需求的云模型。在分析商用云的服务模型结构基础上,结合行业内的相关标准,给出了一种新型航空电子云模型。建立了层次化的云模型架构,包括物理资源层、本地资源管理层、资源虚拟层、平台管理层和应用功能层;采用虚拟化技术建立资源虚拟模型,隔离软件APP与硬件资源和软件环境;分布式的数据动态发布与订阅,提高应用部署的灵活性;分布式资源管理,实现资源池管理、健康监控和故障管理;分布式存储模型,提供分布式数据和文件共享能力。遵循行业标准,为应用软件提供面向服务的航空电子云计算模型,对工程实践具有一定的指导意义。

摘要： 大数据时代,传统的数据离线处理手段与工具已经不适应行业与技术的发展要求,本文以大数据为基础,借助于Spark大数据实时流处理引擎与Flask应用框架,使用Python语言编程实现大数据的爬取采集、清洗与存储、建模分析、数据挖掘等功能,探索并发现大数据背后所隐藏的行为模式和内在规律,最后调用可视化库PyEcharts对数据结果进行相应图表的渲染展示。

摘要： 随着数据的不断积累,数据存储系统已经由单节点、小规模的文件系统演变成支持海量数据存储的分布式文件系统.分布式文件系统中的大规模数据如何能够面向用户提供简洁、高效和稳定的数据上传下载服务成为了广泛研究的问题.为此,本文提出了基于FTP协议的数据服务端的解决方案,该方案包括利用缓冲区、协程、多线程等技术优化传输模型和传输算法,使得数据流能进行高速传输.同时,配合Keepalived(开源的系统高可用解决方案)与LVS实现了高可用、高并发以及良好的拓展性,在FTP协议之上修改使得服务端支持动态验证、用户隔离并兼容多种编码格式.在实际的运行中,以中国科技云iHarbor存储系统为例,验证了本文提出方案的有效性、可靠性以及高性能的数据传输效果,可以充分满足用户的需求.

摘要： 持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.

摘要： 持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDM A多播机制的分布式持久性内存文件系统(RDM A multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10 2～219倍在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7％的性能提升,并在多线程测试中取得了良好的可扩展性.

摘要： 分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I/O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe, SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I/O调度恢复策略,通过避免选取同一节点的数据块进行I/O操作,提升了I/O并行度,通过调度恢复I/O和迁移I/O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71％～85.28％数据的迁移.在条带内重建时,恢复带宽提升了48.16％,在条带外节点重建时,恢复带宽提升了138.44％.

摘要： 随着高性能计算机计算能力的不断发展,高性能计算应用的I/O需求快速增长,需要高性能计算机存储子系统实现高带宽、低延迟的目标,存储系统正面临严峻的I/O压力.基于FUSE开发的分布式文件系统客户端中,VFS页缓存和FUSE内核成为制约系统性能的重要瓶颈.缓存技术是减轻高性能计算机系统I/O瓶颈的经典技术,本文针对典型高性能应用I/O特性,结合高性能计算机支持RDMA通信的优势,提出一种与RDMA缓存统一管理的客户端缓存机制对masFS客户端进行改进.最后将改进前后的文件系统客户端在TH-1A系统上进行部署测试,测试结果表明,客户端缓存可以显著提升应用程序客户端I/O性能,客户端顺序读、写带宽最大可达到基于页缓存的原系统的4.8、2.3倍.

摘要： 作为大规模分布式计算系统底层存储部件,分布式文件系统性能直接影响整个分布式计算环境的执行效率,因此对分布式文件系统的性能测评研究具有重要的意义.现有的分布式文件系统评测主要局限于文件系统的存储性能,如I/O性能,或针对影响分布式文件系统性能的网络、存储方式、负载等因素测评不同硬件环境和工作负载对分布式文件系统性能的影响,这些测评不能够全面评估和对比不同分布式文件系统的性能优劣.本文提出了一套综合测评模型,即综合考虑与分布式文件系统有关的多种因素和系统配置,设计全面的性能测试指标和对应的基准测试集,对所测试的指标进行权重分析和标准化处理,定量评价文件系统性能.通过以HDFS为例的实验验证,本模型可以全面有效的反映分布式文件系统的性能.

摘要： 随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化.Hadoop大数据生态软件以其低廉的硬件需求在工业大数据领域中拥有巨大的先天优势,然而其原本的HDFS分布式文件系统并不适用于海量小文件的存储需求,相反Hbase以其支持随机读写的低延时访问优势弥补了HDFS的不足.因此本文将两者的优点进行有效结合,设计并实现了一种通用的适用于工业大数据场景下的海量对象存储方案.

摘要： 本文介绍了中国石油川庆地球物理勘探公司自主设计集成的面向物探大数据处理、基于Lustre技术的集群存储系统.该系统根据地震数据处理中计算密集型和IO密集型对存储性能的需求,立足企业计算资源,研究分布式文件系统的相关理论与技术,提出了一套完整的地震数据分布式并行集群存储技术解决方案.多个实际资料处理应用情况表明,该技术可完全满足物探大数据处理的需求,同时具备低成本、高性能、高容量、可横向扩展的优点.

摘要： 智慧城市需要顶层设计，要在民生、环保、公共安全、城市服务等方面为公众提供服务，也需要从实际出发，让这些服务的提供者先“智慧”起来。采用物理机虚拟化与IaaS、应用/桌面虚拟化与SaaS、云存储/分布式文件系统、大数据以及分布式计算等技术建设专有云平台。

摘要： 教育大数据指的是与教育教学要素相关的以及教育教学过程中产生的全量超大规模、多源异构、实时变化的数据。学习分析技术分析的对象是学生及其学习环境，目的是评估学生、发现潜在问题、理解和优化学习，基础是海量数据。应用分布式文件系统对海量数据进行并行运算，通过自然语言理解、信息抽取实现非结构化向结构化的转换以及异构向同构的转换。

摘要： 提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作.

摘要： 提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作.

摘要： 提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作.

摘要： 提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作.

摘要： 本发明公开了一种分布式文件系统的文件存储方法、分布式文件系统、计算机可读存储介质，该方法包括：将单个磁盘划分成多个存储区域；获取待写文件数据；根据当前的策略类型获取对应的存储区域；将所述待写文件数据写入所述对应的存储区域。本发明在存储阶段就尽可能的做到按当前策略对文件进程存储，减少磁盘小碎片的产生，实现了文件存储的聚合，优化了对磁盘空间的管理和分配，提升了磁盘读写性能。

摘要： 本发明公开了一种应用于分布式文件系统的存盘方法、存盘装置及其系统。本发明通过预设存盘快照周期，当前位图和快照位图，然后实时接收元数据的更改记录，并根据该更改记录来实时更新对应的当前位图；且判断出存盘快照周期达到时，将快照位图与更新后的当前位图进行置换，得到新的当前位图和新的快照位图，并根据新的快照位图进行存盘，同时，利用新的当前位图重新开始记录元数据新的更改记录。即是说，本发明通过定时存盘来延长存盘周期，使得一个周期内对同一条记录或文件块，只需要做一次存盘，且存盘时以批量方式按照优先级从高到低的顺序写盘，从而增大文件的聚合度来减少存盘IO数据量，保证了数据的完整性，和可访问性。

摘要： 本公开是关于一种分布式文件系统中重命名方法、装置及分布式文件系统，属于互联网技术领域。所述方法包括：将源端内存目录中的目标文件结构锁定；将目的端内存目录中的目标文件结构锁定；对目标文件进行移动；将目标文件结构从源端内存目录中删除；将目的端内存目录中的目标文件结构解锁。本公开在对目标文件重命名过程中，将源名称节点和目的名称节点中的目标文件结构锁定，当在数据节点上完成对目标文件的移动后，源名称节点将目标文件结构删除，目的名称节点将目标文件结构解锁，避免了重命名过程中目标文件被修改，同时避免目标文件结构同时存储于不同名称节点，从而确保分布式文件系统能够正常运行。

摘要： 本发明涉及一种分布式文件系统及用户管理方法。分布式文件系统包括在元数据库中创建元数据用户的元数据用户创建模块；在元数据用户中创建用户信息表和/或用户挂载关系表的数据表创建模块；创建分布式文件系统的超级用户的超级用户创建模块，创建普通用户的普通用户创建模块；根据用户信息表和/或用户挂载关系表判断用户是否有访问权限的文件访问处理模块。本发明解决了传统的分布式文件系统没有自己的用户管理机制，建立了对接入分布式文件系统的客户端的安全鉴别机制，提高了灵活管理用户权限的能力。

摘要： 本发明涉及一种分布式文件系统的数据处理方法及分布式文件系统，其方法包括：Fac获取文件数据，推送给Fas；Fas记录Fac推送过来的文件数据，在缓冲区记录下此次Fas上对应的元数据的修改，写入日志文件，并向Fac返回文件数据推送完成消息；Fac向Flr发送元数据修改变化请求；Flr根据元数据修改变化请求，修改相应的元数据，并记录至日志文件系统；当监测到Fas异常重启时，Flr根据日志记录，进行相应修改数据的回滚操作。本发明保证了分布式文件系统复位重启后文件的最终高一致性，避免机器宕机重启带来的多副本间数据的不一致性，且最大程度的减少由于日志系统的添加而带来相应的延迟和性能上的损失。

摘要： 本发明实施例提供的一种分布式文件系统的读方法、客户端设备及分布式文件系统，可以在进行读操作时，首先在客户端设备本地寻找所需的元数据信息。在客户端设备本地存储有所需的元数据信息时，本发明可以直接根据客户端设备本地存储的元数据信息确定所要读取的文件在存储服务器中的存储地址，不再需要从元数据服务器中获取元数据信息，更加方便快捷，节省了时间。相应的，本发明执行读操作的速度也较快。

摘要： 本发明实施例提供的分布式文件系统的写方法、客户端设备及分布式文件系统，通过将多个待写文件存储到客户端设备的缓存区中，可以实现待写文件的汇集。本发明在预设执行时间周期对应的执行时刻到达时，同时对缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，可以将多个待写文件并行写入相应地址中。由于本发明在同一时刻下传输的数据较多，因此本发明可以有效提高分布式文件系统在进行文件写入时的吞吐量。同时，由于本发明对多个待写文件进行同时写入，因此写入时占用通信网络的时间较短，减少了对通信网络的长时间占用情况。

摘要： 本发明公开了一种分布式文件系统的文件存储方法、分布式文件系统、计算机可读存储介质，该方法包括：将单个磁盘划分成多个存储区域；获取待写文件数据；根据当前的策略类型获取对应的存储区域；将所述待写文件数据写入所述对应的存储区域。本发明在存储阶段就尽可能的做到按当前策略对文件进程存储，减少磁盘小碎片的产生，实现了文件存储的聚合，优化了对磁盘空间的管理和分配，提升了磁盘读写性能。

摘要： 本发明公开了一种分布式文件系统文件读写方法、分布式文件系统及其装置，上述方法包括：文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块，其中，文件访问客户端数据缓存块具有优先级标识；文件访问服务端根据优先级标识，为文件访问服务端数据缓存设置相应的优先级标识，并发送给存储设备处理；存储设备根据优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中，依次进行文件读写操作。通过本发明提供的技术方案，解决了优先写入或读取的操作不能及时得到满足的问题，进而达到了满足不同文件对读写速度不同的需求的效果。

摘要： 本发明公开了一种分布式文件系统的元数据动态管理方法，包括如下步骤：S1.在元数据服务器集群中选择多台服务器作为前置服务器以构成前置元数据服务器集群，元数据服务器集群中的其余元数据服务器构成非前置元数据服务器集群；客户端发起的所有的元数据读写请求，均由前置元数据服务器集群统一处理，且写请求中的元数据仅保存在前置元数据服务器集群的内存中；S2.启动前置服务器；S3.处理客户端的元数据读写请求。通过本发明，能够提供对元数据的高速访问，降低对分布式系统的负载，实现较好的负载均衡。