HDFS

摘要： 该文针对传统煤矿安全预警存在数据获取精准度差、数据融合能力低、无法完成数据深度挖掘的问题,设计了一种基于大数据的煤矿安全预警云平台框架,云平台将上传的数据进行分类、处理、存储,改进了HDFS系统的传统存储策略,并使用大数据技术对数据进行处理,实现对煤矿的安全预警,使矿山生产效率明显提升,安全关口前移。

摘要： 针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据HDFS存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据HDFS存储;最后对无人船测试多源数据进行HDFS存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。

摘要： 本文介绍三种主流分布式存储系统的各自特点,分布式存储是目前流行的数据存储方式。本文详细介绍HDFS、Ceph、Swift三种系统的工作机理,并结合广电行业的特点,探讨四川省智慧广电建设中应用分布式存储存储数据的意义和技术路线。

摘要： 浙江省历史存档的不同遥感平台、传感器、时相以及分辨率的海量影像数据,缺乏一种高效的存储管理方法。为了满足用户的高并发、多样性的数据共享服务需求,对历史存档数据进行标准化处理,设计并实现了分布式架构的海量多源遥感数据管理系统,该系统能够进行高效的定制化式的数据检索、共享以及分发等功能,满足了实际应用需求。

摘要： 当下由于视频内容多样化的爆发式变革,产生了多种音视频封装格式和编码格式,为解决用户高清视频多端下载收看及相应格式转换需求,应对庞大的数据量计算作业,需整合高效计算机资源。该文提出了一种基于Hadoop的分布式视频转码方案,采用分布式文件存储系统HDFS进行大型视频文件的存储,通过MapReduce编程框架结合FFmpeg开源软件,将视频数据处理划分为Map和Reduce两个阶段,把庞大的数据量分布到多处理节点分析。调用转码模块,减少开发人员工作量,分布式完成视频转码功能。该方案充分利用了数据集群的并行计算能力,突破了单机视频转码技术的发展瓶颈。通过实验验证得出,相比于单一节点进行视频转码,此系统的转码速度仅在2台数据节点的分布式集群中就获得了50%的提升。通过此系统可以为各类终端用户按各自需求提供易于使用、开放便捷、快速高效的视频转码服务。

摘要： 随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探数据具有的单一文件数据量大、非结构化的特点,在分析地震勘探大数据样本采集需求的基础上,提出基于Hadoop分布式文件系统(HDFS)的大文件分割和合并的解决方案,并对地震勘探数据生成3个不同维度的冗余存储,以提升地震勘探样本的采集效率。测试结果表明,基于HDFS的三倍冗余存储方案在数据量迅速增大的情况下,可以有效地提高地震勘探大数据样本的采集效率,从而满足地震勘探智能化应用需求。

摘要： HDFS(Hadoop Distributed File System)默认随机选择副本存储位置,未充分考虑数据节点的差异性。文章提出了一种改进的数据存放策略,使用多目标优化方法选取机架,通过计算集群和节点的使用率,择优选择存放节点。实验结果表明,改进后的策略优化了集群中节点的负载均衡,提高了数据读取性能。

摘要： 针对在云计算中HDFS存储小文件数据读取率低、时间长和内存消耗大等缺点,文章提出了一种分布式缓存方案策略,通过每个DataNode节点缓存处理客户端频繁访问的小文件,从而显著降低了DataNode磁盘访问的频率,提高了数据的存储效率,以期为云计算中的存储技术提供科学参考。

摘要： 智能化的运维系统借助大数据处理进行数据筛选、分类再结合人工智能算法,最终为整个播出监测系统提供安全可靠的运维信息、分析信息、预判信息,从而极大提高系统整体运行的稳定性、可靠性。本文对智能化运维系统的优点及结构进行说明,对系统建设用到的算法进行简单介绍。

摘要： 为了有效提高非结构化数据处理的效率,本研究围绕MapReduce框架、Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)、Hadoop数据库(Hadoop Database,HBase)技术展开了深入研究,并在此基础上设计并实现了一个非结构化数据处理系统,针对系统的小文件存储性能优化和HBase数据存储优化提出了相应的解决方案,极大地改善了非结构化数据的处理效率,为相关领域研究提供了一定的参考价值。

摘要： 基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。

摘要： 基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。

摘要： 基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。

摘要： 基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。

摘要： 基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。

摘要： 本发明公开了一种HDFS架构及HDFS架构的NameNode节点的压力分解方法，本发明将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，所述MetaDataNode节点与所述MonitorNode节点之间进行数据通信；所述MetaDataNode节点用于Hadoop分布式文件系统中元数据的管理，所述MonitorNode监测Hadoop分布式文件系统、备份元数据、与所述MetaDataNode节点之间交互数据。相比现有技术HDFS架构中只有一台NameNode节点，本发明HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，即将原HDFS架构中NameNode的职责分解到两个节点上，能够有效的减轻现有HDFS架构中主控节点的压力。

摘要： 本发明公开了一种HDFS架构及HDFS架构的NameNode节点的压力分解方法，本发明将HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，所述MetaDataNode节点与所述MonitorNode节点之间进行数据通信；所述MetaDataNode节点用于Hadoop分布式文件系统中元数据的管理，所述MonitorNode监测Hadoop分布式文件系统、备份元数据、与所述MetaDataNode节点之间交互数据。相比现有技术HDFS架构中只有一台NameNode节点，本发明HDFS架构中NameNode节点分为MetaDataNode节点和MonitorNode节点，即将原HDFS架构中NameNode的职责分解到两个节点上，能够有效的减轻现有HDFS架构中主控节点的压力。

摘要： 本申请提供了一种基于HDFS的小文件处理方法及装置，可用于金融领域或其他领域，该方法包括：获取目标文本文件，该目标文本文件包括：目标数据库集群对应的多条数据表记录，每条数据表记录包括：唯一对应的数据表的数据库名称和数据表名称，不同数据表记录对应的数据表不同，在每个数据表对应的HDFS中包含有至少一个小文件；根据预设的HQL语句模板、每个数据表对应的数据库名称和数据表名称，得到该数据表对应的小文件合并语句。本申请能够缓解HDFS存储压力，提高小文件合并的效率，进而能够提高数据库集群运行效率。

摘要： 本发明公开了一种实现HDFS远端存储挂载的方法及系统，该方法包括：接收从客户端发送的数据远端存储挂载的请求，向远端存储拉取待挂载的元数据并建立形成远端存储与HDFS间的映射关系信息；将所述映射关系信息转发并持久化至数据库，并根据客户端发送的读远端存储元数据的请求，通过读取数据库中的映射关系信息，获取其中的待读取的块信息，并返回给客户端。本发明的方法实现了远端存储在HDFS层的动态挂载，有效提升远端存储读取的灵活性；利用挂载管理模块的架构，自动构建远端存储的元数据信息，降低运维难度；采用元数据转发形式与数据缓存机制，增加远端存储的同时减轻NameNode访问压力，并提升HDFS的读性能。

摘要： 本发明公开了一种检测HDFS小文件和数据倾斜的自动化测试方法及工具。本发明具体包括以下步骤：(1)首先，在PostgreSQL数据库创建用例表及测试结果表，用于后续存储测试用例和测试结果；(2)根据数据测试需求，在数据库表中配置测试用例；(3)读取并解析用例表中的测试用例数据；(4)执行代码类调用Shell脚本；(5)获取Shell脚本返回的结果，对比测试结果与期望结果的一致性；(6)将测试结果写表存储。本方法及工具亦可保存历史已配置好的用例，进行自动化回归测试，以及可运用在基于相同产品架构下的不同定制项目中，本数据测试方法及工具可极大提升测试工作效率。

摘要： 本发明涉及数据存储技术领域，具体涉及一种HDFS的数据存储方法及装置。所述方法包括：获取将待存储数据存入当前数据缓存器中后，所述当前数据缓存器的数据记录数；若所述数据记录数不小于预设上限值，并且不大于数据块的数据记录数上限，则将所述待存储数据存入所述当前数据缓存器中；对所述当前数据缓存器中缓存的数据进行HDFS写入；其中，所述预设上限值为所述数据块的数据记录数上限与预设系数之积。本发明实施例提供的HDFS的数据存储方法及装置，可以最大程度地在保留待存储数据原有特征的情况下合并小规模数据，使得数据在HDFS中的存储可以趋近于块大小，从而减少HDFS中小数据块的数量。

摘要： 本发明公开了一种文件管理方法和装置及HDFS系统，涉及计算机技术领域。该方法的一具体实施方式包括：响应于客户端发送的文件写入请求，根据预先为待写入文件配置的副本分布标签，控制由待写入文件切分得到的数据块写入数据节点；副本分布标签包括跨机房分布标签，跨机房分布标签表征用于存储数据块的多个机房以及各机房存储的数据块副本的初始数量；对于具有跨机房分布标签的数据块，利用该数据块在任一机房的历史访问数据确定该数据块在该机房的期望副本数量，依据期望副本数量对该数据块在该机房的当前副本数量进行调整。该实施方式能够基于多机房、单集群的部署方式在多机房实现统一的副本分布策略，同时提高资源利用率。

摘要： 本申请提出了一种CSV大文件快速写入到HDFS的方法，该方法具体包括：S1、获取CSV的大文件，并逐行读取所述CSV的大文件的数据内容；S2、将读取的每行所述数据内容拼接到字符串中，每行所述数据内容之间用特殊字符分割开；S3、判断当前读取的所述数据内容是否大于某一数值X，若大于则将所述数据内容写入小文件，清空当前的所述字符串，并记录生成的所述小文件的名称以及路径，否则继续；S4、判断所述数据内容是否读取结束，将未写入的剩余所述数据文件写入剩余小文件中；S5、创建HDFS文件，读取所述小文件的数据内容并写入到所述HDFS文件中，并判断所述小文件是否写入完成。能够提升对数据的写入效率，减少数据写入过程中内存的占用。

摘要： 一种支持国密算法的HDFS文件级透明加解密方法，包括以符合Hadoop平台静态数据加密规范的方式增加国密算法，替换Hadoop平台中加密区对于输入输出流的处理过程，使用符合KMIP协议的客户端密钥处理模块替换Hadoop平台自身客户端的加密区密钥管理模块。支持国密算法的HDFS文件级透明加解密系统，包括客户端密钥管理模块、密钥管理服务设置模块、加解密算法模块和数据流处理模块。本发明通过以上方法和系统，充分保障了HDFS存储数据的安全。

摘要： 本发明提供了一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质，该方法包括：响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录；响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录；响应于文件写完成，判断缓存记录中预设属性大小是否大于文件大小；响应于缓存记录中预设属性大小大于文件大小，将申请配额中未使用的容量归还服务器。通过使用本发明的方案，能够实现HDFS协议过程的容量配额功能，能够及时归还未使用的配额，避免容量浪费，能够通过定时自检归还配额，增加功能可用性。