基于HDFS的云存储平台在企业信息管理系统中的应用研究

摘要

伴随着现代科技的发展，各种信息呈现出爆炸是级数增长的方式。普通的存储体系的结构与方式已不再适应现代煤炭企业的爆炸式增长数据存储的需求，基于云计算的云存储系统便应运而生。HDFS(Hadoop Distributed FileSystem)作为Hadoop技术框架的一部分，被称为是分布式文件存储系统。
　　目前，国内外很多大型企业都利用HDFS来进行海量数据的存储与管理，HDFS体系结构构造之初是为了系统存储占用空间较大的文件而进行开发的，但随着HDFS分布式文件应用范围越来越广，在某些应用环境中，存在大量的小文件，会导致分布式文件系统便出现存储瓶颈，如何高效处理这样类型的文件成为一个亟待解决的问题。
　　本文针对HDFS存储小文件的问题展开了研究，对HDFS存储前的小文件处理工作和存储后的检索分别提出了改进方法，并将其应用于煤炭企业的云存储平台。首先，在原有HDFS存储结构上添加小文件处理单元，目的在于对小文件进行判断和合并处理，小文件的索引和内容以追加写的方式存入合并文件，解决了大量小文件零散存储带来的浪费空间问题。其次，在改进后的存储结构上，提出二级索引机制，将合并索引与合并文件同时存储在数字节点上，仅用名字节点上的一条元数据记录合并文件中的小文件的文件名信息，用逐级索引解析的方式进行小文件的查找定位，节约了名字节点内存，提高了访问效率。最后，开发了以基于HDFS的云存储平台，并以煤炭企业生产与统计系统为例，详细阐述了HDFS云存储平台在企业信息管理系统中的应用。
　　本系统采用Hadoop0.20.1作为开发环境，1台名字节点和3台数字节点作为模拟平台进行改进后的小文件存储系统的性能测试试验，分别从内存消耗、小文件读取时间、小文件写入时间方面进行测试，取得了较好的效果。

目录

声明

中文摘要

英文摘要

目录

1 绪论

1.1研究背景及意义

1.2 研究现状

1.2.1云存储

1.2.2 HDFS小文件存储的研究现状

1.3 研究内容及论文组织安排

2云存储关键技术

2.1云存储关键技术

2.1.1 HDFS系统结构

2.1.2 HDFS主要功能组件

2.1.3 HDFS的读写机制

2.1.4 元数据结构

2.1.5 通信协议

2.2 本章小结

3基于HDFS的小文件存储优化方案

3.1 HDFS小文件的存储问题

3.1.1 消耗NameNode内存

3.1.2 削弱访问

3.2 HDFS经典方案

3.2.1 HAR方案

3.2.2 Sequence File 方案

3.3改进方案

3.3.1 存储体系结构改进

3.3.2 二级索引机制

3.3.3 改进方案的实现

3.4 实验结果及分析

3.5 本章小结

4基于HDFS云存储平台的煤炭企业信息管理系统设计

4.1煤炭企业计划与统计管理系统

4.1.1 系统设计

4.1.2 数据库设计

4.1.3 系统实现

4.2 云存储平台设计

4.2.1 方案设计

4.2.2 环境搭建

4.2.3系统实现

4.3 本章小结

5 总结与展望

5.1 论文总结

5.2 论文展望

致谢

参考文献

附录