私有云环境下的容灾系统中一致性算法的应用研究

摘要

云计算的发展为大数据处理提供了新的思路,但云环境的应用成本也给中小型企业带来了很大的负担。于是开源分布式框架Hadoop成为首选,该框架由两个主要部分构成:HDFS和MapReduce。其中HDFS是一个单中心结点的分布式文件系统。为了降低因为单点故障而带来的损失,各个公司都有自己的HDFS HA方案,虽然实施方案不同但它们的核心思想都是采用备机方案。这些方案虽然可以减少HDFS发生单点失效时的损失,但耗时长,同时存在数据丢失的可能。本文在双机热备的基础上提出了一种新的容灾系统,解决了存在的单点问题,同时通过一致性算法保证了数据的完整性,弥补了采用备机方案造成数据丢失的不足。具体而言,论文的主要工作如下:
　　(1)介绍云计算的相关概念、特性和实现方案等,同时详细介绍了开源的分布式系统框架Hadoop和其基本组成部分:HDFS和MapReduce。
　　(2)研究了几种当前流行的 HDFS高可用性方案,这些方案中分热备和冷备两种。结合中心服务器Namenode在HDFS中的地位与作用,提出了新的双机热备、三机协同的HDFS架构。
　　(3)通过对一致性算法Paxos进行研究分析,设计出适用于三机架构的 Paxos算法;并且根据该算法设计出了三机数据同步框架。这样保证即使出现结点失效的情况,系统依然可以有效的对外提供读写访问服务。
　　`(4)通过对 HDFS源码进行研究、剖析,修改了其中部分的代码结构,满足同步框架规范,实现了双中心结点架构,保证了对外服务。
　　(5)搭建仿真平台,对新容灾系统下双中心服务器的HDFS文件系统的可行性和有效性进行了验证。
　　本论文为HDFS HA方案提供了新的思路,以双机热备为基础,设计出的三机 Paxos架构和数据同步框架具有一定的理论意义和应用价值。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 课题研究意义

1.4 论文组织结构

2 云计算和Hadoop系统简介

2.1 云计算简介

2.2 云计算分类

2.3 Hadoop分布式系统框架概述

2.4 HDFS概述

2.5 本章小结

3 应用场景和算法设计

3.1 HDFS容灾方案介绍

3.2 双中心服务器方案

3.3 一致性算法

3.4 本章小结

4 系统框架设计

4.1 目的分析

4.2 整体模块设计

4.3 内部数据流程设计

4.4 结点失效情况分析

4.5 同步框架同Zookeeper对比

4.6 本章小结

5 代码改造和仿真测试

5.1 关键点分析与改造

5.2 基础类 QuorumImp

5.3 通信协议

5.4 仿真测试和结果分析

5.5 本章小结

结论

致谢

参考文献

攻读学位期间的研究成果