基于P2P技术的云存储环境下数据一致性研究

摘要

随着互联网技术的快速发展，信息化程度的不断提升，信息资源以几何级的数量在增长，面对海量数据的存储和处理，传统的文件系统在容量和性能的扩展上存在瓶颈。随着云计算这个概念的提出到近些年云计算的飞速发展，我们看到云计算在日常生活中已经得到越来越多的应用，那么作为云计算基础也是支撑云计算发展的云存储当之无愧的起到了重要推动作用。云存储作为云计算的底层服务，对上层服务提供重要的支持;同时，云存储可以有效地存储和管理海量数据，所以更是成为专家学者们关注的焦点。
　　 但是设计一个高效可靠的云存储系统并不容易，现有的云存储系统如Google的GFS、亚马逊的弹性云以及开源的HDFS都面临着一个同样的问题，它们都是单元数据服务器架构，是由单元数据服务器来管理其它服务器中存储的数据。用户的请求必须通过该单元数据服务器的处理才能完成数据存储和检索操作。假设该单元数据服务器故障无法正常工作，则会导致整个云存储系统不能正常工作。而且随着该单元数据服务器负载的增加，其无法正常工作的概率会逐渐增大。
　　 P2P技术的许多特点，如非中心化、可扩展性、健壮性、高性能和负载均衡，都契合了云存储的设计要求。本文结合P2P的相关思想，改进现有云存储模型从而得到一种基于P2P技术的云存储模型P-MSN。该模型采用多元数据服务器架构，能够有效地解决集中式云存储系统的中心节点瓶颈问题，提高云存储系统的性能和云存储服务的质量，增强服务的可靠性。但P-MSN中多元数据服务器中的元数据存在数据一致性的问题，本文通过对数据一致性算法Paxos进行研究，针对该模型元数据服务器间的元数据一致性问题，改进和优化Paxos使其应用于该系统。
　　 本文通过优化Paxos算法的学习决议阶段和提出Paxos算法中Leader选举策略来改进基本的Paxos算法，实验证明改进后的Paxos算法降低了数据提交过程中产生的通信量以及减少了对网络带宽的占用量，从而使得算法的运行时间和整个算法过程中产生的消息个数得到降低，而平均每秒提交的消息个数则得到一定程度增加，算法性能得到一定程度的提升。

目录

声明

摘要

第一章 绪论

1．1 研究背景和课题意义

1．2 研究现状

1．2．1 云存储发展现状

1．2．2 数据一致性研究现状

1．3 论文的主要工作

1．4 论文的组织结构

第二章 云存储环境下P2P技术的应用

2．1 云存储的介绍

2．1．1 云存储的概述

2．1．2 云存储的体系结构

2．1．3 云存储的优势

2．2 云存储体系结构介绍

2．2．1 Google GFS

2．2．2 开源项目Hadoop

2．3 P2P技术

2．3．1 P2P技术简介

2．3．2 P2P网络拓扑结构分类

2．3．3 结构化P2P系统的算法介绍

2．4 云存储与P2P技术结合的意义

2．5 本章小结

第三章 基于P2P技术的云存储模型研究

3．1 基于P2P技术的云存储模型P-MSN

3．2 P-MSN云存储模型的数据评价

3．3 云存储环境中数据一致性问题

3．3．1 不一致性问题的产生

3．3．2 元数据复制一致性问题

3．4 Basic Paxos算法介绍

3．5 本章小结

第四章 面向P-MSN模型Paxos算法的改进和优化

4．1 面向P-MSN云存储模型Paxos的改进和优化

4．1．1 针对Paxos中Learner学习过程优化

4．1．2 针对Paxos中Leader选举机制优化

4．1．3 Leader的故障检测机制

4．2 面向P-MSN云存储模型的改进后Paxos算法详细设计

4．2．1 面向P-MSN云存储模型的改进后Paxos算法工程化描述

4．2．2 面向P-MSN云存储模型的改进后Paxos算法伪代码描述

4．2．3 面向P-MSN云存储模型的改进后Paxos算法流程图

4．3 本章小结

第五章 仿真实验与结果分析

5．1 仿真实验平台与环境

5．2 面向P-MSN云存储模型下Paxos性能评估

5．2．1 算法运行时间比较

5．2．2 算法消息个数比较

5．2．3 算法平均每秒提交消息个数比较

5．2．4 算法提交消息失败个数比较

5．3 实验仿真数据分析

5．4 本章小结

第六章 总结及未来工作

6．1 全文工作总结

6．2 未来工作

致谢

攻硕期间所从事的科研工作及取得的研究成果

参考文献