多云存储网关可靠性技术研究

摘要

当今科技飞速发展，信息化普及程度不断提高，云计算的日益普及使得越来越多的企业将数据放入远程云存储端。然而，现今市场上的云存储存在机密性、可用性、完整性方面的问题，公司并不能完全放心地将其内部的机密、关键数据存入云存储端。
　　针对现今单云存储在使用中显露出许多问题，为了提高云存储服务的可用性，本文提出并且实现了基于数据和元数据分离的多云存储网关，基于纠删码算法提高数据冗余性，对数据进行分片编码、重组，提高数据可用性与安全性。本文提出多云网关存储结构，通过多云网关将数据可用、安全的存入各个云存储平台，多云网关可适配时下最流行的如百度云、阿里云、亚马逊S3等，为用户提供可无限扩展的安全云存储环境，具有很高的实用价值。
　　在该多云存储网关中，针对多个部门之间用户数据之间的共享，根据现有的理论和研究现状，提出基于多级元数据服务器一致性的元数据共享机制，使部门之间用户进行安全的数据共享；当元数据服务器被修改时，在考虑更新效率和元数据一致性的平衡问题，提出一套基于自适应的元数据更新策略，共享其元数据的其他元数据服务器应用更新策略能够相应更新元数据，保证元数据可用性。
　　同时，本文提出应对多部门多用户高并发访问的情况下出现的系统性能瓶颈，提出基于线程池的并发策略和基于元数据服务器集群的高并发应对策略，保证系统能承受高并发的访问。
　　针对恶意访问，本文提出了基于数据流的恶意访问检测策略，能提前检测恶意访问，尽量避免恶意访问的发生；以及在恶意访问无可避免发生的情况下，对数据和元数据执行相应的恢复策略，保障系统的安全。
　　最后，本文通过实验进行功能测试和压力测试。证明了本文设计实现的多云存储网关在纠删码算法的加入下对系统的时间延迟影响并不是很大，同时还能提高数据的可用性，降低存储的成本，具有很大的实用性；对系统进行压力测试，系统能够承受高并发的访问量。同时通过实验验证了系统元数据服务器一致性的功能，以及对恶意访问下检测和恶意访问下的恢复。

目录

声明

第一章 绪论

1.1 论文背景

1.2 研究现状

1.3 论文内容及组织结构

第二章 相关研究

2.1 柯西纠删码算法

2.2 阿里云存储OSS

2.3 MeSe安全云存储网关

2.4 本章小结

第三章 MCloud安全云存储网关

3.1 Mcloud安全存储网关简介

3.2 用户认证登陆过程

3.3 基于柯西纠删码算法的数据分片和重组的实现

3.4 文件上传下载实现流程

3.5 本章小结

第四章 多级元数据服务器一致性

4.1 多级元数据服务器设计

4.2 多级元数据服务器一致性模型

4.3 多级元数据服务器实现

4.4 本章小结

第五章 数据并发访问设计

5.1 数据并发访问需求

5.2 多线程的高并发处理

5.3 元数据服务器集群

5.4 本章小结

第六章 恶意访问检测及恢复

6.1 问题引入

6.2 恶意访问检测

6.3 恶意访问恢复策略及实现

6.4 本章小结

第七章 实验测试与分析

7.1 实验环境

7.2 实验结果以及分析

7.3 本章小结

结 束 语

致谢

参考文献

作者在学期间取得的学术成果