基于分布式存储的在线网盘系统的设计与实现

摘要

随着互联网中信息量不断增长，数据的管理难度、存储成本加大，越来越多的企业将传统的存储方式向云存储转变。云存储服务具有高可靠性、高扩展性及大容量存储等特点，涉及存储网络技术、虚拟化技术、数据传输技术、分布式存储技术，具有良好的学术研究价值和商业前景。
　　本论文涉及基于分布式存储的在线网盘系统，主要工作和研究内容如下：
　　为了适应海量规模存储环境的要求，提高数据中心主机的存储空间利用率，本文设计并实现了一种异构环境下的分布式块存储系统（InfoStor）。该系统通过带内存储虚拟化技术将存储资源利用起来，代替磁盘阵列提供大容量存储空间，后端存储节点提供多副本冗余存储功能保护数据，主控节点支持“侦听-检测-切换”的高可用模式防止单点故障发生。
　　针对基于Web的商业在线网盘，受到校园网环境的特性和网络出口的限制，本文利用GlusterFS分布式文件系统整合InfoStor提供的块级别存储，设计并开发面向校园的在线个人网盘服务-InfoDisk。结合校园网用户的特点和应用需求，对校园网络存储解决方案进行了较为深入的研究，并设计一个功能完善、界面友好、简单易用的网络硬盘系统，并且在此基础之上，针对校园存储服务高并发、高数据量、高吞吐量的特点，设计该服务的性能优化方案。
　　本文研究重点是（1）基于带内虚拟化技术实现的分布式块存储系统的整体架构，介绍所涉及的主要功能模块：磁盘管理、存储池管理、虚拟卷管理和LUN Mapping的实现流程，主控节点的高可用模式和存储后端多副本冗余实现方式。（2）将 Web技术与云存储平台相结合，建立一个基于云存储平台的Web网络存储应用系统。通过研究和对比现有存储技术，特别是云存储技术，确定采用了LAMP加GlusterFS的系统技术架构。该架构具有以下特征：具有较高的可靠性，充分保证数据的安全；具有可扩展性，存储容量按需弹性扩展；具有易用性，维护成本低，系统管理方便。
　　通过具体的实验和用户的反馈，本文所设计的基于分布式存储的在线网盘系统具有良好的应用价值，为用户提供安全，便捷的在线存储服务。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题相关背景

1.2 课题相关领域发展现状

1.3 课题的意义

1.4 论文的主要工作

1.5 论文的组织和结构

第二章 云存储系统的相关技术

2.1 概述

2.2 存储系统的发展

2.3 GlusterFS分布式文件系统研究

2.4 使用LAMP技术构建Web服务

2.5 集群技术

2.6 Web服务性能测试

2.7 数据存储服务性能测试

2.8 存储虚拟化的概念

第三章 InfoStor系统架构与工作流程设计

3.1 InfoStor系统

3.2 InfoStor各功能模块详细设计

3.3 ProxyNode HA模式

3.4 BlockNode 后端多副本冗余

3.5 本章小结

第四章 基于GlusterFS的在线网盘设计与实现

4.1 基于GlusterFS的在线网盘需求分析

4.2 基于GlusterFS的在线网盘服务系统设计

4.3 基于GlusterFS的在线网盘服务系统实现

4.4 在线网盘服务系统的软件结构设计

4.5 在线网盘服务系统的主要数据库设计

4.6 本章小结

第五章 性能优化及实验结果

5.1 概述

5.2 在线网盘服务系统性能优化的主要方面

5.3系统性能优化方案的分析与设计

5.4 相关实验

5.5 本章小结

第六章 总结与展望

6.1 工作总结

6.2 进一步工作及展望

致谢

参考文献

附录：

作者在读期间发表的学术论文及参加的科研项目