基于DHT的分布式存储系统数据一致性的研究与实现

摘要

随着信息爆炸式的增长,集中式的存储方式的瓶颈效应愈发明显的遏制了数据存储的扩展性和并发访问的效率等,SAN和NAS等传统集中式存储系统越来越难以满足海量数据存储的需要。为了解决诸如此类的传统存储的瓶颈问题,分布式存储系统和云存储系统相继被提出,并成为学术研究和商用的热点内容。分布式存储系统实现涉及并使用的技术有很多,本文着重研究了分布式存储系统的数据一致性,实现了对系统高可用性和高可靠性的保证。
　　在分析阐述分布式存储和云存储的现状和一致性维护相关技术之后,针对普遍使用的全分布式非结构化网络拓扑,提出了一种基于Two-Hop DHT技术的存储和查询策略,该策略实现了索引和数据分离存储后索引和数据一致性维护的灵活处理;并针对现有分布式网络中节点失效场景进行了建模,设计了该模型下的副本放置策略;进一步提出了一种基于该Two-Hop DHT策略的分布式存储系统DGS的数据一致性维护策略采用的混合一致性模型,分析实现了在一致性维护操作冲突下的数据一致性维护策略和网络动态变化情况下的数据一致性维护策略,并通过定时同步和手动同步保证分布式存储系统中数据的一致性。本文重点实现了维护索引信息的一致性(异步维护数据的一致性),最终实现了存储海量数据的分布式存储系统的高可用性和高可靠性。

目录

基于 DHT 的分布式存储系统数据一致 性的研究与实现

STUDY AND IMPLEMENTATION ON DATA CONSISTENCY OF DHT-BASED DISTRIBUTED STORAGE SYSTEM

摘要

Abstract

目 录

第1章绪论

1.1课题背景及研究的目的和意义

1.2分布式存储系统及数据一致性现状

1.2.1分布式存储系统

1.2.2分布式存储系统的发展现状

1.3本文研究的主要内容及安排

第2章数据一致性相关理论

2.1引言

2.2数据冗余机制

2.3CAP理论

2.4一致性定义

2.4.2服务器端一致性

2.5一致性模型

2.5.1严格一致性模型

2.5.3因果一致性模型

2.5.5单调读一致性模型

2.6一致性协议

2.7典型一致性方案分析

2.8本章小结

第3章基于Two-HopDHT的混合数据一致性算法

3.1引言

3.2DHT策略

3.2.1One-HopDHT

3.2.2Two-HopDHT机制

3.3副本创建策略

3.3.1节点失效模型

3.3.2副本策略

3.4一致性更新中的冲突问题

3.5基于Two-HopDHT机制的混合数据一致性模型

3.5.1DGS混合一致性模型

3.5.2操作冲突下的一致性策略

3.5.3网络动态变化下的一致性策略

3.5.4时间/手工同步策略

3.6本章小结

第4章索引一致性实现及性能测试

4.1引言

4.2时序图

4.2.1ADD流程和时序设计

4.2.3DELETE流程和时序设计

4.2.4定时/手动同步流程和时序设计

4.3类图

4.4测试及分析

4.4.1测试环境

4.4.2测试结果及分析

4.5性能对比

4.6本章小结

结论

参考文献

攻读硕士学位期间发表的论文及其它成果

哈尔滨工业大学学位论文原创性声明及使用授权说明

致谢