基于Hadoop的安全云存储系统研究与实现

摘要

随着信息时代的数据量以PB级飞速增长，传统存储模式在大数据存储方面的局限性逐渐暴露出来，单一存储很容易使用户数据丢失，造成巨大损失，越来越多的企业和研究机构认识到必须有一种新的存储机制去改变存储行业现状。云存储技术的引入为存储模式的改变带来了契机，国内外机构和企业在云存储热潮下纷纷推出自己的云存储产品和解决方案，但由于对产品的安全性不够重视，各类安全事故频繁发生，给用户造成了巨大损失。在此背景下，云存储系统的安全性问题逐渐成为业界关注的热点。
　　本文在假设云计算提供商可信的前提下，从应用安全的角度出发，通过大量关键技术的研究，构建了一种基于Hadoop的安全云存储系统。本文首先调研了国内外机构对云存储系统和云存储安全性的研究现状，在此基础上对构建云存储系统涉及到的关键技术进行了深入研究，主要包括 HDFS数据读写原理、虚拟磁盘原理、文件系统过滤驱动原理、HTTPS安全传输原理、多线程传输原理。随后结合实际情况，对安全云存储系统从功能和性能两个方面进行了需求分析，并提出了系统的总体架构，然后根据总体架构从安全客户端、安全可靠传输和服务器端三个大的模块出发进行了详细设计，主要包括虚拟磁盘和文件系统过滤驱动的两级加密机制设计、多线程断点续传设计、服务端的存储架构及数据处理模块设计。接下来从代码实现的角度对系统各个模块的实现过程进行了详细阐述，并对某些重要功能进行了效果展示。最后对系统从功能上和性能上进行了测试，经测试构建的系统达到了预定的功能需求，满足响应性、可靠性、可用性三个方面的性能指标。
　　本文设计和实现的基于Hadoop的安全云存储系统在客户端采用虚拟磁盘和文件系统过滤驱动两级加密机制，通过透明加解密的思想保证了用户数据安全；同步传输阶段采用HTTPS安全传输和多线程断点续传技术，保证了用户数据传输的安全性和可靠性；服务器端提供监控机制，通过对存储集群监控、文件同步过程监控、服务器性能监控，提高了系统的可维护性性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文主要研究内容

1.4 论文组织结构

第二章 系统关键技术研究

2.1 数据存储集群相关技术

2.2.透明加解密相关技术

2.3 网络通信相关技术

2.4 本章小结

第三章 基于Hadoop的安全云存储系统设计

3.1 系统需求分析

3.2 系统总体设计

3.3 安全客户端模块设计

3.4 安全可靠传输模块设计

3.5 服务器端模块设计

3.6 本章小结

第四章 基于Hadoop的安全云存储系统实现

4.1 系统实现说明

4.2 安全客户端模块实现

4.3 安全可靠传输模块实现

4.4 服务器端模块实现

4.5 本章小结

第五章 系统测试

5.1 测试环境部署

5.2 系统功能测试

5.3 系统性能测试及分析

5.4 本章小结

第六章 总结与展望

6.1 论文工作总结

6.2 进一步展望

致谢

参考文献

攻硕期间取得的研究成果