基于Redis的高性能数据库引擎的研究和实现

摘要

随着互联网技术的快速发展，Web应用产生的数据量呈指数级增长，非结构化数据充斥着整个网络平台，大数据处理吸引了越来越多的关注。面对数据量的大幅增加，以及对数据库的高效存储，不同类型、结构数据的管理，高可靠性、可扩展性、高吞吐等需求，关系型数据库面临巨大的压力。为解决海量非结构化数据的存储、查询问题，NoSQL数据库应运而生。对于数据库使用者，希望可以使用NoSQL数据库存储数据，使用标准SQL语言操作数据库，不需要学习不同数据库的不同操作。
　　针对上述问题，为满足用户多方面的需求，降低NoSQL数据库的使用门槛，屏蔽应用中底层数据库的类别，利用统一规范的SQL语言来操作没有统一标准语言的NoSQL数据库，本论文提出了构建基于Redis的高性能数据库引擎，研究设计的过程中，主要的研究内容有：
　　（1）提出关系存储到Key-Value存储的存储映射模型。比较了关系存储模型和Key-Value存储模型的差异，充分利用Redis中的存储结构，将关系数据库中的表定义信息、表数据、表之间关系，进行映射存储，多方位组合使用Hash、Set数据结构，以完成存储模型的映射。
　　（2）设计了标准SQL语言操作Redis的操作映射处理过程，并提出条件从句处理算法和多关系连接算法。为使得SQL语句可以操作Redis中数据，对标准SQL操作到Redis中操作设计了映射模型；对SQL语句的条件从句中的查询列创建列索引，对条件从句中多条件结果的逻辑操作处理、多关系的连接操作join，提出相应的处理算法；最后，利用Redis提供的ZSet结构，对查询操作中的分组group by和排序order by操作进行处理，进一步实现查询操作的映射过程。
　　（3）验证存储映射模型、SQL操作映射过程的正确性，以及对数据库引擎SQL2Redis的查询性能与MySQL的查询性能进行实验分析与比较。实验选取TPC-H数据集，首先，验证了存储映射模型、操作映射过程的正确性、可行性；然后，通过比较不同复杂度的查询语句的响应时间，对论文的数据库引擎的查询性能与MySQL的查询性能进行比较。实验结果表明，部分查询操作性能更好，部分复杂的查询操作有很大的优化空间。
　　通过本论文的研究，一方面使得用户可以使用SQL语言操作Redis数据库，使用内存计算提升了数据读写效率；另一方面，论文中提出的基于Key-Value存储的多关系连接操作join的实现算法，为非关系型数据库的连接操作方面的研究提供了一定的实际经验。

目录

声明

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1研究背景与意义

1.2国内外研究现状

1.3本文研究内容

1.4本文的结构

第二章 相关理论与技术

2.1数据存储模型

2.2多关系连接操作的实现

2.3 Redis介绍

2.4本章小结

第三章 存储映射模型研究

3.1关系存储模型

3.2 Key-Value存储模型

3.3关系存储模型与Key-Value存储模型的映射研究

3.4本章小结

第四章 关系操作的映射与实现

4.1关系操作映射的必要性

4.2关系操作的映射和处理

4.3条件从句的分析与处理

4.4多关系连接操作的分析与处理

4.5分组、排序操作处理

4.6本章小结

第五章 实验结果与分析

5.1实验环境与数据

5.2实验过程与结果分析

5.3本章小结

第六章 工作总结

参考文献

致谢

作者简介