分布式数据库可协调的一致性策略的研究

摘要

在海量数据的背景下，为了支撑更大的访问量和数据量，使用分布式数据库系统成为了一种必然的选择。但是，传统的强一致性要求又将带来延迟提高的问题。针对此困境，众多数据库服务逐渐向弱一致性发展。例如，阿里巴巴使用的DRDS数据库，作为强调最终一致性的分布式数据库，由于引入了弱一致性处理，在面对千万级流量的情况下，依然体现出了其良好的性能。目前，Cassandra数据库已经在操作级别上对一致性进行划分，允许用户使用不同的一致性。区块链作为一种新兴技术，得到了特别的关注。虽然它单独作为数据库尚存在很多问题，但其去中心化等特点能够增加数据的安全性和确定性，因此本文引入区块链技术侧重于提高系统数据的可靠性。
　　本文通过对分布式数据库以及目前主流的一致性策略的研究与分析，设计了在分布式数据库下的可协调一致性策略。首先使用副本因子数自适应算法计算系统每一次请求的一致性级别。然后通过分布式系统中的网络延时和访问到达的分布情况得到每次读请求发生读数据异常的概率。最后根据不同应用对发生数据读取异常的容忍程度和系统发生数据读取异常的概率进行比较，得到该请求应该读取集群中副本的数量，即一致性级别。为此，本文在可协调一致性策略设计中引入请求调度层，其中包括一致性级别处理模块，请求分发模块，优先级请求处理队列，请求调度模块和请求处理模块。
　　本文搭建了Cassandra集群和BigchainDB作为数据访问层，使用YCSB测试工具及测试数据集，在Ubuntu16.10操作系统下进行实验。实验结果显示，本文提出的可协调一致性策略可以根据用户对每次请求发生数据读取异常的容忍度来控制处理请求的顺序并维护其一致性要求。在海量数据的背景下，本文的研究工作对分布式数据库中请求级别的一致性级别控制有一定程度的理论和实际意义，同时对区块链技术作为数据库进行应用也存在一定的参考价值。
　　综上所述，本文的研究工作具有一定的意义和实际价值。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究现状

1．3 主要研究的内容

1．4 论文的章节安排

第2章 分布式数据库及区块链研究

2．1 分布式系统

2．2 NoSQL数据库

2．2．1 NoSQL数据库主要特点

2．2．2 NoSQL数据库分类

2．3 Cassandra数据库

2．3．1 Cassandra数据库特点

2．3．2 Cassandra数据模型

2．4 区块链技术及BigchainDB

2．4．1 区块链简介

2．4．2 BigchainDB简介

第3章 一致性策略的研究与分析

3．1 主流的一致性策略

3．1．1 ACID原则和MVCC机制

3．1．2 向量时钟算法

3．2 一致性和可用性的权衡

3．2．1 BASE原则、CAP原则

3．2．2 NWR策略

3．3 Cassandra中的一致性策略

3．3．1 副本因子

3．3．2 写一致性级别

3．3．3 读一致性级别

3．3．4 一致性级别之间的影响

3．3．5 Hinted Handoff和读修复

3．3．6 时间戳和粒度

3．4 基于文件热度的自适应一致性策略

3．4．1 文件热度的计算方法

3．4．2 自适应副本一致性策略

第4章 可协调的一致性策略的设计

4．1 副本因子数自适应算法

4．1．1 参数定义

4．1．2 使用概率的方法估计数据读取异常的比率

4．2 可协调一致性策略设计

4．2．1 总体设计框架

4．2．2 关键技术研究

4．3 防止饥饿机制

第5章 可协调的一致性策略实验及结果分析

5．1 实验环境介绍

5．1．1 硬件介绍

5．1．2 软件介绍

5．2 测试工具和数据集

5．3 实验流程及参数设置

5．3．1 延迟实验

5．3．2 吞吐量实验

5．3．3 读数据异常实验

5．4 实验分析和小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢