针对非关系型数据库的海量数据的事务处理

摘要

随着信息社会的发展，越来越多的信息被数据化，尤其是伴随着互联网的发展，数据呈爆炸式地增长，海量数据的存储和处理问题随之出现。在面对海量数据的高效率存储和高效率访问、数据库的高并发读写以及数据库的高可扩展性等需求时，传统的关系数据库暴露了很多问题。非关系数据库（NoSQL）应运而生，与传统的关系型数据库相比，非关系型数据库在数据库事务一致性方面进行了妥协。
　　本文为了解决非关系型数据库在数据库事务一致性方面的问题，以HBase为例并基于两阶段提交协议提出了针对非关系型数据库的海量数据的事务支持机制。依靠HBase自身的持久化、高吞吐量、低延迟等特点，本文使用HBase的单独的一列实现了锁服务，同时依靠两阶段提交协议实现了多行多表之间的同步，并对分布式系统中经常出现的宕机问题进行了考虑，设计了异常情况处理机制。同时本文针对HBase实现了readuncommitted、read committed和repreatable read三种隔离级别以满足不同类型的应用对事务隔离性的不同要求。在此基础上，设计和实现了“期货交易仿真系统”，用于验证该事务支持机制。该平台使用HBase作为后台数据库，并支持数百甚至上千用户的并发访问请求。通过该系统，本文对针对非关系型数据库的海量数据的事务支持机制的可用性和效率进行了验证。验证结果表明在非关系型数据库上应用该事务支持机制之后，能够满足大规模并发访问对事务隔离性与一致性的需求，虽然在效率上有所下降，但是基本在可以接受的范围之内。

目录

封面

中文摘要

英文摘要

目录

第一章 绪论

1.1引言

1.2论文研究目标

1.3国内外研究现状

1.4关键技术介绍

1.5章节安排

第二章 相关技术

2.1非关系型数据库及其分析

2.2 HBase及其分析

2.3 MapReduce及其分析

2.4 Percolator

2.5本章小结

第三章 总体设计

3.1设计目标和设计原则

3.2事务支持机制架构图

3.3事务管理流程图

3.4事务支持API简述

3.5本章小结

第四章 关键技术

4.1分布式事务锁的设计

4.2分布式事务的同步

4.3异常情况的处理

4.4隔离级别

4.5本章小结

第五章 期货交易仿真系统的设计

5.1项目背景

5.2系统架构

5.3系统详细设计

5.4本章小节

第六章 实验和结果

6.1事务支持机制相关的实验和结果

6.2期货交易仿真系统相关的实验和结果

6.3本章小结

第七章 总结和展望

7.1本文总结

7.2未来工作展望

参 考 文 献

附录1

致谢

攻读硕士学位期间已发表或录用的论文

声明