基于LSM-Tree的持久化缓存机制的优化研究

摘要

互联网行业的蓬勃发展带动了数据量的爆炸式增长，传统的关系型数据库并不能满足海量数据规模的应用，所以Key-value存储机制应运而生。伴随该机制，NoSQL型数据库得到了大量推广，NoSQL数据库由于其处理海量数据之快而一般用作于传统关系型数据库的前置数据库，但这种基于内存存储的数据库在数据持久化方面并不完善，并且存在系统宕机时导致数据丢失的风险。然而随着互联网技术的成熟，该类型数据库开始摸索将其缓存数据持久化的方法。
　　本文主要着眼于KV存储机制的NoSQL数据库的持久化研究，针对Google开源的LevelDB数据库所采用的LSM-Tree持久化机制，进行深入研究。文章首先从LSM-Tree持久化缓存模型入手，深入分析该模型的缓存机制；然后找出 LSM-Tree缓存机制持续写入快速但随机读取较慢的不足之处，引入改进的LSM-Tree模型；对应用该缓存机制的Google单机持久化存储系统LevelDB进行详细研究，着重分析其关键技术和运行机理，用C++语言在LevelDB的源码上进行改动。
　　文章最后使用雅虎YCSB负载生成器框架对改进前后的LevelDB性能做比较，结果显示在保证写入吞吐量的同时随机读取吞吐量提高了一倍，随机读取延时有明显降低，优化效果较为明显。

目录

封面

声明

中文摘要

英文摘要

目录

1绪 论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 论文的主要内容和结构

2缓存持久化模型综述

2.1 LSM-Tree原理

2.2 两组件LSM-Tree算法

2.3 多组件LSM-Trees

2.4 本章小结

3改进型持久化模型的理论研究

3.1 T-LSM模型

3.2 Bloom Filter

3.3 本章小结

4 改进型LSM-Tree模型在LevelDB中的应用研究

4.1 LevelDB实现原理

4.2 改进型LSM-Tree模型算法设计

4.3改进型LSM-Tree模型算法实现

4.4 本章小结

5 系统测试和性能分析

5.1 测试环境

5.2 测试方法与结果分析

5.3 本章小结

6 总结与展望

6.1 研究总结

6.2 工作展望

致谢

参考文献