一种基于云存储的同步网络存储系统的设计与实现

摘要

数据安全越来越被用户所重视,其中数据备份是一种最直接,最高效的数据安全的策略,而远程备份所具有的独特的优势,运用越来越广泛,而目前提供该服务的产品价格昂贵,而且数据安全不能得到绝对的保证,然而用户自己部署存储花费太高,因此,研制一个性能高,花费低,的远程备份存储系统具有重要的理论意义和实用价值。
　　 随着云存储的快速发展和目前Amazon S3的良好性能,在过去一年多的时间里,本文致力于在当前的云存储环境下开发出一个能够为广大用户提供高性能,实用性强的同步网络存储系统,本文首先对国外相关的产品做出深入的研究和分析,并总结其在安全,性能方面的优势和不足,接下来对存储系统的相关技术做出介绍和分析,最后在结合本人在北京borqs通讯技术有限公司云存储部门半年多的实习经验的基础上提出一种新型高性能同步网络存储系统结构,提出独特的控制信息和数据信息分开处理策略,并对系统各个模块给出详细的介绍和具体的实现。
　　 本文主要的工作是对远程文件同步算法做出深入分析的基础上,根据同步网络存储系统自身的特点,提出一种高性能的远程文件快速同步方法,并在数据存储方面提出高效的存储方案,为了保证系统数据和用户信息的安全,提出合适的解决方案,同时针对目前许多用户经常在多台主机办公的情况下,设计和实现了多台主机之间的数据同步策略和文件共享功能,并针对系统提出自动备份功能,使系统能够自动监测相应文件的改变,使自动与远程同步,最后给出该系统的总体实现架构图和具体的实现。

目录

文摘

英文文摘

第一章 绪论

1.1 研究背景

1.2 国内外研究概况

1.3 论文的主要工作

1.4 论文内容安排

第二章 网络备份存储系统概述

2.1 云存储简介

2.2 网络数据备份

2.3 网络存储技术

2.3.1 直接附加存储

2.3.2 网络附加存储

2.3.3 存储区域网络

2.4 网络存储的发展方向

2.5 SSL及AES介绍

2.6 radius和LDAP协议简介

2.7 国外主流网络备份存储产品测试和分析

2.8 本章总结

第三章 基于Amazon S3网络存储系统中几点关键技术研究

3.1 快速远程文件快速同步算法的研究

3.1.1 Rsync算法

3.1.2 Basic sliding window chunking算法

3.1.3 FTTD理论(Two Thresholds,Two Divisors Algorithm)

3.1.4 本系统文件同步算法实现

3.2 系统安全问题探讨

3.2.1 数据存储安全及传输安全方式

3.2.2 系统认证方式策略

3.3 文件存储方法探讨

3.4 垃圾数据回收策略

3.5 元数据格式

3.6 本章总结

第四章 基于Amazon s3网络存储系统总体设计

4.1 系统总体框架

4.2 Service logic模块分解图

4.2.1 用户认证模块

4.2.2 用户管理模块

4.2.3 file管理模块

4.2.4 chunk管理模块

4.2.5 连接管理模块

4.2.6 同步处理模块

4.2.7 网页处理模块

4.2.8 文件传输处理模块

4.3 主要数据表的关系和组织结构

4.4 系统架构和网络结构

4.5 本章总结

第五章 实现

5.1 传输服务程序的设计(transmit)

5.2 Connect服务设计

5.3 keep-live server服务器设计

5.4 存储客户端程序设计

5.5 本章小结

第六章 实验结果

6.1 系统性能测试总结

第七章 结束语

7.1 论文工作总结

7.2 下一步工作

参考文献

致谢

学位论文评阅及答辩情况表