Hadoop分布式文件系统

摘要： 为实现更好的税收风险管理,提高税收风险的科学性和可应用性,完善税收风险管理基础,提出了税收数据库和税收风险管理相结合的支撑着风险排序、风险查询和风险指标管理的税收风险管理平台。该平台能解决税务部门在现有税收风险分析平台无法处理大量数据的问题,有利于税务部门从大量数据中找出税收过程中可能出现的各类风险,从而可以根据风险提示避免、减少和预防此类风险的发生。

摘要： 为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用户交互;其中数据挖掘层利用归一化变换将空间数据与属性数据调整为正态分布并统一量纲后,采用快速独立成分分析算法去噪处理变换后数据;依据贝叶斯分类理论以及极大后验和似然假设构建朴素贝叶斯分类器,将去噪处理后的数据作为分类器输入,完成空间属性数据挖掘。试验结果表明该技术应用在农业生产中,可以增加经济效益,数据经去噪后峰值信噪比与结构相似性较高,可有效挖掘城市空间属性数据,且具有较高数据挖掘速度。

摘要： 为解决随机向量函数链接(random vector functional link,RVFL)网络处理大规模数据分类时表现出的泛化能力差和计算复杂度高的问题,基于Spark框架设计与实现一种分布式子空间局部链接的RVFL(distributed RVFL with subspace-based local connections,DRVFL-SLC)网络.利用弹性分布式数据集(resilient distributed dataset,RDD)的分区并行性,对存于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的大规模数据集进行随机样本划分(random sample partition,RSP)操作,保证每个RSP数据块对应RDD的1个分区.其中,RSP数据块是在给定的显著性水平下与大数据保持概率分布一致性的数据子集.在分布式环境下对包含多个分区的RDD调用mapPartitions转换算子并行高效地训练对应的最优RVFL-SLC网络.利用collect执行算子将RDD每个分区对应的最优RVFL-SLC网络进行高效率地渐近融合获得DRVFLSLC网络以实现对大数据分类问题的近似求解.在部署了6个计算节点的Spark集群上,基于8个百万条记录的大规模数据集对DRVFL-SLC网络的可行性和有效性进行了验证.结果表明,DRVFL-SLC网络拥有很好的加速比、可扩展性以及规模增长性,同时能够获得比在单机上利用全量数据训练的RVFL-SLC网络更好的泛化表现.

摘要： 网络时代的发展使"互联网+"模式应用在各个行业,商业行为的大利润驱使下对消费者用户的分析已经非常成熟,教育行业对大数据的应用就显得有些落后,教育App中的大量学生数据可以用来构建智慧学生画像给老师的教育方式提供指导性,将学生画像应用在教育上,可以使老师和家长更了解学生的实时动态和学习状态,方便老师家长给出更好的指导,学校也可以了解学生,来想出更好的教育方式。

摘要： 针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略.在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数.仿真结果表明,与目前典型的数据中心选择和动态数据复制策略以及逐步删除和添加数据副本策略相比,该数据复制策略不仅优化了系统的负荷分配,而且具有更高的可用性和更小的延迟.

摘要： 网络时代的发展使"互联网+"模式应用在各个行业,商业行为的大利润驱使下对消费者用户的分析已经非常成熟,教育行业对大数据的应用就显得有些落后,教育App中的大量学生数据可以用来构建智慧学生画像给老师的教育方式提供指导性,将学生画像应用在教育上,可以使老师和家长更了解学生的实时动态和学习状态,方便老师家长给出更好的指导,学校也可以了解学生,来想出更好的教育方式.

摘要： 本文研究以Hadoop为技术支撑,提出一种并行计算模式定向数据挖掘方法。在云计算平台中引入分布式网络存储技术,构建HDFS分布式文件系统,通过评估Hadoop集群内节点性能获取各节点性能值。以此为依据选取存储数据块的合适节点,按比例存储数据块。然后基于分布式文件系统设计HBASE分布式数据库,存储并处理大规模数据,经MapReduce并行化处理朴素贝叶斯分类算法后实现对定向数据的分类与挖掘。仿真实验中,利用基于Hadoop平台的常规PC机搭建内部局域网通信形式,设置主数据节点、从数据节点以及Hadoop环境,从挖掘精度与效率两个角度对本文方法展开性能评估。根据指标数据与实际案例应用效果可知:本文方法具有较高的挖掘效率与精准度,且能够有效展示出城区建设扩展趋势,为更科学、更高效地城市建设服务奠定基础。

摘要： 以电信类公司日志文件为分析模板,结合大数据技术,对流量日志的数据进行分析,获取用户的行为特征,明确网站改进方向,为电信类公司本身的业务提出合理化建议,实现数据的最大价值化.整体架构以 Hadoop3.1 为基础,搭建分布式数据存储分析的大数据平台,结合Sqoop、MySQL、Flume等,实现日志数据分析的架构设计,数据结果最终通过 Sqoop 工具由 HDFS导入到MySQL数据库存储,并对结果进行分析,为完善系统提出改进方案.

摘要： 新媒体时代的快速崛起,使微课成为高职院校授课教学过程中的新型教学辅助模式.该文主要分析了Hadoop技术在高职微课体系的应用和深化,重点对数据平台框架中Hadoop分布式文件系统和Red5流媒体相关技术进行了研究和分析.通过微课系统的设计,实现了HDFS Client模块和RTMP Client模块的视频调用,并完成微课视频的海量存储和流媒体式播放方式.最后,结合大数据微课实例对系统的开发进行了分析和研究.

摘要： 新媒体时代的快速崛起,使微课成为高职院校授课教学过程中的新型教学辅助模式。该文主要分析了Hadoop技术在高职微课体系的应用和深化,重点对数据平台框架中Hadoop分布式文件系统和Red5流媒体相关技术进行了研究和分析。通过微课系统的设计,实现了HDFS Client模块和RTMP Client模块的视频调用,并完成微课视频的海量存储和流媒体式播放方式。最后,结合大数据微课实例对系统的开发进行了分析和研究。

摘要： 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

摘要： 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

摘要： 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

摘要： 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

摘要： 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

摘要： 在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.

摘要： 在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.

摘要： 在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.

摘要： 在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.

摘要： 在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.

摘要： 本发明公开了一种分布式文件系统的文件存储方法、分布式文件系统、计算机可读存储介质，该方法包括：将单个磁盘划分成多个存储区域；获取待写文件数据；根据当前的策略类型获取对应的存储区域；将所述待写文件数据写入所述对应的存储区域。本发明在存储阶段就尽可能的做到按当前策略对文件进程存储，减少磁盘小碎片的产生，实现了文件存储的聚合，优化了对磁盘空间的管理和分配，提升了磁盘读写性能。

摘要： 本发明公开了一种应用于分布式文件系统的存盘方法、存盘装置及其系统。本发明通过预设存盘快照周期，当前位图和快照位图，然后实时接收元数据的更改记录，并根据该更改记录来实时更新对应的当前位图；且判断出存盘快照周期达到时，将快照位图与更新后的当前位图进行置换，得到新的当前位图和新的快照位图，并根据新的快照位图进行存盘，同时，利用新的当前位图重新开始记录元数据新的更改记录。即是说，本发明通过定时存盘来延长存盘周期，使得一个周期内对同一条记录或文件块，只需要做一次存盘，且存盘时以批量方式按照优先级从高到低的顺序写盘，从而增大文件的聚合度来减少存盘IO数据量，保证了数据的完整性，和可访问性。

摘要： 本公开是关于一种分布式文件系统中重命名方法、装置及分布式文件系统，属于互联网技术领域。所述方法包括：将源端内存目录中的目标文件结构锁定；将目的端内存目录中的目标文件结构锁定；对目标文件进行移动；将目标文件结构从源端内存目录中删除；将目的端内存目录中的目标文件结构解锁。本公开在对目标文件重命名过程中，将源名称节点和目的名称节点中的目标文件结构锁定，当在数据节点上完成对目标文件的移动后，源名称节点将目标文件结构删除，目的名称节点将目标文件结构解锁，避免了重命名过程中目标文件被修改，同时避免目标文件结构同时存储于不同名称节点，从而确保分布式文件系统能够正常运行。

摘要： 本发明涉及一种分布式文件系统及用户管理方法。分布式文件系统包括在元数据库中创建元数据用户的元数据用户创建模块；在元数据用户中创建用户信息表和/或用户挂载关系表的数据表创建模块；创建分布式文件系统的超级用户的超级用户创建模块，创建普通用户的普通用户创建模块；根据用户信息表和/或用户挂载关系表判断用户是否有访问权限的文件访问处理模块。本发明解决了传统的分布式文件系统没有自己的用户管理机制，建立了对接入分布式文件系统的客户端的安全鉴别机制，提高了灵活管理用户权限的能力。

摘要： 本发明涉及一种分布式文件系统的数据处理方法及分布式文件系统，其方法包括：Fac获取文件数据，推送给Fas；Fas记录Fac推送过来的文件数据，在缓冲区记录下此次Fas上对应的元数据的修改，写入日志文件，并向Fac返回文件数据推送完成消息；Fac向Flr发送元数据修改变化请求；Flr根据元数据修改变化请求，修改相应的元数据，并记录至日志文件系统；当监测到Fas异常重启时，Flr根据日志记录，进行相应修改数据的回滚操作。本发明保证了分布式文件系统复位重启后文件的最终高一致性，避免机器宕机重启带来的多副本间数据的不一致性，且最大程度的减少由于日志系统的添加而带来相应的延迟和性能上的损失。

摘要： 本发明实施例提供的一种分布式文件系统的读方法、客户端设备及分布式文件系统，可以在进行读操作时，首先在客户端设备本地寻找所需的元数据信息。在客户端设备本地存储有所需的元数据信息时，本发明可以直接根据客户端设备本地存储的元数据信息确定所要读取的文件在存储服务器中的存储地址，不再需要从元数据服务器中获取元数据信息，更加方便快捷，节省了时间。相应的，本发明执行读操作的速度也较快。

摘要： 本发明实施例提供的分布式文件系统的写方法、客户端设备及分布式文件系统，通过将多个待写文件存储到客户端设备的缓存区中，可以实现待写文件的汇集。本发明在预设执行时间周期对应的执行时刻到达时，同时对缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，可以将多个待写文件并行写入相应地址中。由于本发明在同一时刻下传输的数据较多，因此本发明可以有效提高分布式文件系统在进行文件写入时的吞吐量。同时，由于本发明对多个待写文件进行同时写入，因此写入时占用通信网络的时间较短，减少了对通信网络的长时间占用情况。

摘要： 本发明公开了一种Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统，以均衡系统负载从而提高读/写性能。所述方法包括：获取Hadoop分布式文件系统中数据节点的节点负载信息；在存放副本时，根据所述节点负载信息，将同一数据块的副本存放在客户端所在数据节点或者负载最低的数据节点；在读取所述副本时，从负载最低的数据节点和/或与客户端距离最小的数据节点读取。本发明提供的方法充分考虑到了各个数据节点的节点负载信息，因而能够均衡系统负载，提升读写操作的性能。

摘要： 本发明公开了一种分布式文件系统的文件存储方法、分布式文件系统、计算机可读存储介质，该方法包括：将单个磁盘划分成多个存储区域；获取待写文件数据；根据当前的策略类型获取对应的存储区域；将所述待写文件数据写入所述对应的存储区域。本发明在存储阶段就尽可能的做到按当前策略对文件进程存储，减少磁盘小碎片的产生，实现了文件存储的聚合，优化了对磁盘空间的管理和分配，提升了磁盘读写性能。

摘要： 本发明公开了一种分布式文件系统文件读写方法、分布式文件系统及其装置，上述方法包括：文件访问服务端接收文件访问客户端根据文件访问客户端读写列队发送的文件访问客户端数据缓存块，其中，文件访问客户端数据缓存块具有优先级标识；文件访问服务端根据优先级标识，为文件访问服务端数据缓存设置相应的优先级标识，并发送给存储设备处理；存储设备根据优先级标识将文件访问服务端数据缓存放入相应的存储设备读写列队中，依次进行文件读写操作。通过本发明提供的技术方案，解决了优先写入或读取的操作不能及时得到满足的问题，进而达到了满足不同文件对读写速度不同的需求的效果。