基于iSCSI的自动扩容云存储系统的研究与实现

摘要

云存储是云计算领域一个热门的发展方向，随着互联网的发展，互联网上的数据量也是越来越大，云存储越来越接近广大网民的生活，与我们的生活工作息息相关，我们时常把身边重要的数据放在云网盘上防止意外丢失。现在大多数的云网盘提供了基础的云存储服务，用户注册使用后即可获得一定的固定的存储空间，但是随着用户数据量的增大，原有的存储空间已不能再满足用户的需要，所以本课题在研究了目前行业内的几种主流云存储机制之后，欲提出一套新的基于iSCSI的自动化扩容云存储系统，从客户端到服务器都提供了一种动态的扩容策略。
　　本文研究了设计私有云存储系统的一些关键技术原理，如iSCSI、虚拟逻辑卷、Samba、Quota等，在这些开源技术之上搭建了一套便于实施的自动扩容私有云存储系统，在服务器节点之间的通信中，分析了常用的并发模型，充分利用了Epoll加多线程池并发模型，并与传统的多进程方式进行对比。
　　本系统采用远程挂载的方式将远程存储挂载到本地空间，摒弃了空间上距离的概念。本系统采用了三层架构的设计方案，底层是基础设施层，提供存储服务，管理节点位于此层中，为上层数据节点层提供统一的存储服务；在上层是数据节点层，数据节点层为上层用户提供数据访问服务，数据节点层在系统中占据重要的地位，其中Samba文件共享服务、Quota用户空间配额、Lvm虚拟逻辑卷位于此层中，当数据节点容量使用率达到一定的额度时，数据节点和管理节点通信，挂载管理节点提供的存储空间与本地的存储进行合并，实现在线扩容的目的。
　　为了充分利用系统的资源利用率，提出了动态监控扫描的扩容算法，根据用户的可写入时间数动态确定下次扫面时间，此外本文将服务端采用了基于Epoll和线程池的并发模式，最后文章对本系统进行了功能和性能测试，证明系统的可行性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究工作的背景与意义

1.2云存储扩容技术的国内外研究历史与现状

1.3课题研究内容

1.4本论文的结构安排

第二章 相关理论基础

2.1 iSCSI 存储技术

2.2 Lvm虚拟逻辑卷

2.3 Samba共享文件系统

2.4 Quota配额

2.5 基于Epoll和线程池的并发服务

2.6 本章总结

第三章 AES系统的分析与设计

3.1 AES存储系统的需求分析

3.2自动扩容云存储系统的总体设计

3.3数据表的设计

3.4并发处理的设计

3.5动态监控扫描算法的设计

3.6节点扩容的设计

3.7本章总结

第四章 自动扩容云存储系统的实现

4.1数据库接口层的实现

4.2并发处理的实现

4.3动态监控扫描算法的实现

4.4任务接口实现

4.5本章总结

第五章 系统测试与分析

5.1测试方法与指标

5.2测试环境

5.3测试环境搭建

5.4测试结果分析

5.5本章总结

第六章 全文总结与展望

6.1本文的主要工作

6.2后续工作展望

致谢

参考文献