基于hadoop技术云存储平台的研究与实现

摘要

互联网技术的迅猛发展和应用导致电子信息出现爆炸性增长，如何有效存储和管理海量电子信息是现代IT行业面临的一大挑战。传统存储方案由于存储设备单一、易用性差、不易扩展等原因不能很好解决海量数据的存储和管理问题，云储存技术的出现为海量数据处理提供了解决手段。云存储与传统的存储介质相比较，它具有高访问量、高可扩展性、低成本等优势，可以为海量的数据提供较好的存储、容灾备份等服务。云存储技术正受到业界的关注并已经成为研究热点。
　　针对企业在电子办公过程中产生的海量数据的存储难题，本课题重点研究云存储相关技术，旨在基于开源云计算框架Hadoop技术构建一个云存储方案以解决电子文件的管理和存储问题。本文的研究工作主要有以下几方面的内容:
　　(1)总结国内外云存储技术发展的前沿成果和应用，分析介绍云计算技术的概念、特点和云存储技术的概念、模型框架和存储架构，以及说明云存储与云计算的关系。
　　(2)分析了Hadoop技术的三大核心组成，包括HDFS分布式文件系统、MapReduce并行处理框架、HBase分布式数据库。通过介绍HDFS的设计理念及其体系结构、MapReduce处理逻辑模型及其实现机制、以及HBase的逻辑和物理模型特点为进一步的研究奠定理论基础。
　　(3)在分析了HDFS针对海量小文件存储性能低下的问题和它自身提供的三种解决方案的优缺点后，提出一个有效处理小文件的方案。研究了利用MapReduce为云存储系统上的文件建立倒排索引的流程，并设计实验验证了其可行性，为云存储系统的构建奠定了基础。
　　(4)在对电子文件管理系统的业务需求理解分析之后，基于Hadoop三大核心技术对云存储体系结构、功能模块、数据库及运行环境进行设计，构建了一个云存储服务系统，为海量大规模数据的存储和处理提供了有效解决方案。最后，采用MVC架构、Java语言、ExtJS和Spring等技术框架实现了此云存储系统。
　　本课题基于Hadoop技术构建的云存储服务系统与传统存储设备相比，具有可靠性高、成本低、可扩展性好、性能完备等特点，在电子文件管理系统中应用良好。除此之外，这套解决方案也可以扩展到其他系统使用，具有良好的应用价值和研究前景。

目录

声明

摘要

第一章 绪论

1．1 云计算介绍

1．1．1 云计算概念特点

1．1．2 云计算服务模式

1．1．3 云计算和网格计算

1．2 云计算关键技术

1．2．1 云计算结构体系

1．2．2 虚拟化技术

1．2．3 海量数据存储与处理技术

1．2．4 资源管理和调度技术

1．3 国内外云计算研究现状

1．3．1 云计算技术发展现状

1．3．2 云计算应用和发展趋势

1．4 主要研究内容及意义

1．5 本文组织结构

第二章 云存储和Hadoop理论研究

2．1 云存储技术

2．1．1 云存储介绍

2．1．2 云存储模型和架构

2．1．3 云存储关键技术

2．2 Hadoop核心之HDFS

2．2．1 HDFS设计理念

2．2．2 HDFS体系结构

2．3 Hadoop核心之MapReduce

2．3．1 MapReduce逻辑模型

2．3．2 MapReduce实现机制

2．4 Hadoop核心之Hbase

2．4．1 HBase逻辑模型

2．4．2 HBase物理模型

2．4．3 HBase特点

2．5 本章小结

第三章 Hadoop中小文件优化和倒排索引

3．1 小文件问题

3．1．1 Hadoop中小文件问题

3．1．2 Hadoop自带小文件解决方案

3．2 小文件问题优化方案

3．3 云存储中倒排索引结构的研究

3．3．1 利用Mapreduce建立倒排索引流程

3．3．2 实验及分析

3．4 本章小结

第四章 基于Hadoop云存储系统的设计

4．1 云存储系统需求分析

4．1．1 存储问题分析

4．1．2 系统功能需求分析

4．1．3 系统性能需求分析

4．2 存储系统架构设计

4．3 电子文件处理设计

4．4 功能模块设计

4．5 云存储系统主要流程设计

4．5．1 文件上传流程

4．5．2 文件下载流程

4．5．3 文件夹目录创建流程

4．5．4 文件重命名

4．6 数据表结构设计

4．7 本章小结

第五章 基于Hadoop云存储系统的实现与应用

5．1 云存储系统环境和拓扑图

5．2 基于Hadoop云存储平台的实现

5．2．1 用户管理

5．2．2 角色管理

5．2．3 权限管理

5．2．4 普通用户模块

5．2．5 集群监控模块

5．2．6 应用服务器监控

5．2．7 操作日志

5．2．8 告警管理

5．3 本章小结

第六章 总结与展望六八章早总思三结西与习展辰望星

6．1 全文总结

6．2 未来展望

致谢

参考文献