基于无共享架构并行文件系统的云计算研究

摘要

云计算是一种新型的计算模式，通过将各种互联的计算资源进行有效整合并实现多层次的虚拟化与抽象，云计算有效地将大规模的计算资源以可靠服务的形式提供给用户，从而将用户从复杂的底层硬件逻辑，软件栈与网络协议解放出来，而只需要关注业务逻辑。云计算自从2007年被提出以后，就一直是国内外研究的一个热点，目前，Google、IBM、Amazon、Microsoft及EMC等业界的几个巨头公司都纷纷推出自己的云计算解决方案。同时，学术界也不断的对云计算平台进行深入的研究。
　　云计算技术的迅速发展使得越来越多的个人以及企业在关注的同时也在接受云计算所带来的改变，很多企业应用了云计算的计算模式并获得了成功，云计算为企业带来了相当程度的成本降低以及效率的提升。但是随着人们对云计算越来越广泛并深入地应用，对云计算的性能、稳定性、安全性等有了更高的要求，即对构建云计算的基础架构有了更高的要求，当然对构建云计算的分布式文件系统也有了更高的要求。因此无论商业界还是学术界都在研究并推出各自的构建云计算的基础架构，分布式文件系统等。
　　本文的研究内容是IBM内部的一个创新项目，用IBM内部的基于无共享架构的并行文件系统GPFS-SNC(general parallel file system-sharing nothing cluster)构建一个简单的云计算，提供云存储服务和虚拟机应用服务，以探索如何利用GPFS-SNC特点和优势来构建高性能，高稳定性，高可扩展性的云计算。以下介绍本文的主要工作以及主要成果。
　　本文的主要工作包括:
　　(1)对GPFS-SNC的架构、特性以及支持的功能进行分析研究，以便构建的云计算能提供更高性能，更高稳定性，更高扩展性的云存储服务和虚拟机应用服务。
　　(2)对kvm(kernel-based virtual machine)虚拟机支持的迁移技术，克隆技术进行研究，分析各类迁移技术和克隆技术的优劣，结合GPFS-SNC的特性，选择合适的虚拟机迁移技术以及克隆技术。
　　(3)对开源的NAS(network attached storage)服务器freeNAS的架构、源码进行分析研究，因为本系统是基于freeNAS的二次开发，只有对freeNAS架构的进行深入研究，才能更好的将GPFS-SNC文件系统移植到freeNAS中，才能更好的将kvm虚拟机更好的与freeNAS结合以提供虚拟机应用服务。
　　(4)对负载均衡算法进行分析研究，集合GPFS-SNC的特性以及虚拟机的特性设计出合适的负载均衡算法。
　　本文主要的成果包括:
　　(1)本论文实现了web服务不中断的技术，系统是提供web界面供用户使用的，当集群中的web服务器节点失效时，用户仍可通过web界面使用系统，web服务不中断，此功能的实现主要利用了GPFS-SNC的容错技术，当web服务器节点失效时，自动将web服务迁移到集群中的其它的节点上，测试结果表明迁移时间很短，用户几乎体验不到服务中断过。
　　(2)本论文实现了对用户存取自己存储空间的服务请求进行负载均衡的技术，系统提供CIFS(Samba)、FTP、NFS服务以供用户访问自己的存储空间，本系统对多用户访问存储空间时的服务请求实现了负载均衡，即实现了多用户的服务请求会均衡的分布在集群的各个节点上，测试结果表明服务请求在集群中各个节点上基本均衡。
　　(3)本论文设计并实现了一种合适的负载均衡算法，本系统采用并实现了这样一种负载均衡算法，集中式控制的方式以及引入了周期的轮询算法，每当一个周期结束后，会重新收集集群中所有节点的相关信息，收集到节点的信息后按照负载的大小进行排序，保存在集群中心节点的任务列表中，每到一个周期结束后都会更新保存节点顺序的任务列表。最后，当任务来时，就可以从任务列表中取出第一个节点去执行该任务，这里需要注意的是，当任务列表更新后就应该再从列表的第一个节点开始轮询。本负载均衡算法的制定也着重考虑了GPFS-SNC不同于其它文件系统的一个独有特性，即可以随意指定集群中三台节点来存放指定文件的三份拷贝，这个特点在理论上可以大大提高此算法的有效性。测试结果表明了此负载均衡算法具有很好的有效性以及较好的稳定性。
　　(4)本论文实现了将GPFS-SNC移植到freeNAS中替换掉其文件系统，实现了对存储空间的快照和回滚，实现了通过链接克隆来创建虚拟机。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究动机

1．3 研究现状

1．4 论文研究内容

1．5 论文内容安排

第2章 云计算相关技术

2．1 云计算概述

2．1．1 云计算的基本概念

2．1．2 云计算技术的特征和优势

2．2 云计算的关键技术

2．2．1 编程模式

2．2．2 数据存储管理

2．2．3 虚拟化技术

2．3 云计算基础架构

2．3．1 云计算体系结构

2．3．2 云计算服务层次

2．4 无共享架构的文件系统(GPFS-SNC)

2．4．1 GPFS-SNC故障转移方案

2．4．2 GPFS-SNC性能

第3章 负载均衡算法的研究

3．1 负载均衡算法概述

3．2 均衡算法的分类

3．2．1 静态与动态均衡策略

3．2．2 集中式和分布式算法

3．2．3 接收者和发送者启动策略

3．3 经典负载均衡算法

3．3．1 基本算法

3．3．2 蜂群算法

3．3．3 随机游走算法

3．4 均衡算法的性能评价指标

3．5 负载均衡算法的设计

3．5．1 算法基本思想

3．5．2 节点负载检测

3．5．3 任务列表的设计与更新

3．5．4 节点定位策略

3．5．5 算法的初始化

第4章 云存储服务的研究

4．1 云存储

4．1．1 云存储的基本概念

4．1．2 云存储的结构模型

4．2 FreeNAS

4．3 云存储服务设计与实现

4．3．1 设计概要

4．3．2 相关设计

4．3．3 关键技术

4．3．4 测试与分析

第5章 虚拟机应用服务的研究

5．1 虚拟机技术

5．1．1 虚拟机的迁移技术

5．1．2 虚拟机迁移的分类及原理

5．1．3 虚拟机克隆技术

5．2 虚拟机应用服务设计与实现

5．2．1 设计概要

5．2．2 相关设计

5．2．3 测试与分析

第6章 总结与展望

6．1 总结

6．2 展望

致谢

参考文献

攻读学位期间取得学术成果