基于多卷服务器的块级别云存储系统研究与实现

摘要

随着互联网中信息量不断增长，以及用户终端体积的不断减小，建立统一的数据中心为用户提供可定制的远程云存储服务是当前存储技术发展的必然趋势。作为下一代IT领域的革命性技术，云存储技术一直是云计算领域的研究热点。在过去的数年里，国内外学术界和工业界都在云存储技术和产品的研究与开发上投入了大量的人力物力，各种相关新型技术和产品层出不穷。云存储系统涉及存储网络技术、虚拟化技术、数据传输技术、分布式存储技术等，具有良好的学术研究前景和价值。
　　块级别云存储系统通过存储虚拟化技术和网络存储技术为系统中的用户虚拟机提供原始块存储设备，使得用户可根据自身需要在获得的块存储设备上安装文件系统或数据库。而现有的块级别云存储系统部分存在两点不足：1、与自身平台系统紧密耦合，不利于系统间集成和二次开发；2、系统中存在存储服务器瓶颈，严重影响了系统整体性能和可靠性。
　　本文在深入研究各种云存储系统实现方式前提下，提出并实现了一种基于多卷服务器架构的虚拟块级别云存储系统。
　　首先，设计并实现了多卷服务器架构及基于此架构的存储工作流。在该架构下，系统能够使用CLVM管理多卷服务器共享的存储设备，使用Xen管理虚拟机服务器上的客户虚拟机，通过iSCSI技术为客户虚拟机提供独立持久的块级别存储，并通过Web Service接口实现系统各个模块间的协调管理工作。实验证明，多卷服务器架构的设计与实现排除了系统中的单点瓶颈，与单卷服务器架构的块级别云存储系统相比，具有更高的读写吞吐率。
　　其次，提出并实现系统的故障检测处理机制，能够支持系统运行时状态的侦听-检测-故障切换。该机制保证了在卷服务器故障时，多卷服务器之间实现无缝切换工作，从而保证了系统可靠性。
　　然后，对卷服务器负载和性能进行建模，并在此基础上提出了基于机器性能的静态、动态负载均衡策略。静态负载均衡策略通过工作中的卷服务器选择，避免系统进入负载不均衡状态。动态负载均衡策略通过遗传算法决定iSCSI连接的最佳部署方式，使得云存储系统在系统中卷服务器处于负载不均衡状态时，根据遗传算法的模拟结果均衡各卷服务器的负载。实验证明，多卷服务器间的负载均衡策略保证了系统总读写性能发挥，有效地提高了系统I/O吞吐率和每秒I/O次数。
　　最后，对在研究与开发块级别云存储系统上所作的主要工作和贡献进行了总结，并提出了对Orthrus未来工作的几点展望。

目录

文摘

英文文摘

详细摘要

第1章 绪论

1.1 课题相关背景

1.2 课题相关领域发展现状

1.3 课题的意义

1.4 论文的主要工作与结构

第2章 Orthrus系统的相关技术

2.1 概述

2.2 Xen虚拟化技术

2.3 基于集群的Linux逻辑卷管理技术

2.3.1 集群概述

2.3.2 Linux逻辑卷管理(LVM)

2.3.3 Red Hat集群与基于集群的逻辑卷管理

2.4 存储局域网(SAN)

2.5 iSCSI

2.5.1 iSCSI协议栈

2.5.2 iSCSI协议数据单元

2.5.3 iSCSI发现

2.5.4 iSCSI连接流程

2.6 Web Service

2.7 虚拟块存储系统VBS

2.8 遗传算法基础

2.9 本章小结

第3章 Orthrus系统架构与工作流设计

3.1 概述

3.2 多卷服务器块级别云存储系统架构设计

3.2.1 Orthrus系统各节结点和模块

3.2.2 Orthrus系统架构的优点

3.3 多卷服务器块级别云存储系统卷管理工作流

3.3.1 工作流描述

3.3.2 工作流实现

3.4 多卷服务器间侦听-检测-故障处理工作流

3.4.1 工作流描述

3.4.2 工作流实现

3.5 多卷服务器块级别云存储系统性能效果实验和分析

3.5.1 实验环境描述

3.5.2 实验工具介绍

3.5.3 实验流程

3.5.4 实验结果与分析

3.6 本章小结

第4章 多卷服务器间负载均衡策略研究与实现

4.1 概述

4.2 用于负载研究的服务器模型

4.2.1 服务器性能建模

4.2.2 服务器负载建模

4.3 系统静态负载均衡策略

4.4 多服务器动态负载均衡策略

4.4.1 多服务器负载状态评估策略

4.4.2 通过遗传算法模拟负载分布策略

4.4.3 通过负载迁移实现负载均衡

4.5 多卷服务器动态负载均衡策略效果验证实验和分析

4.5.1 实验环境描述

4.5.2 实验工具介绍

4.5.3 实验流程

4.5.4 实验结果与分析

4.6 本章小结

第5章 总结与展望

5.1 工作总结

5.2 进一步工作及展望

致谢

参考文献

附录