基于大对象的数据库缓冲区管理技术的研究和实现

摘要

随着海量数据在企业中被广泛应用，现在的数据库管理系统需要解决硬件开销的持续增长和海量数据的查询效率的问题。采用数据压缩技术可以有效解决这两个问题。传统行存储数据库的压缩效果不好，所以现在通常采用列存储或者分包式存储结构。新的存储结构对大数据表进行分割，将类型相同的数据连续存放在一个个数据块中。以数据块为单位进行缓冲区的管理可以减少系统的I/O并且能提高缓冲区的命中率。
　　面向海量数据存储而研发的国产KStore数据库，在许多方面对海量数据查询效率做出了优化，其中之一就是本文要介绍的对KStore数据库缓冲区管理的优化。KStore采用行列混合方式进行压缩存储，它的数据压缩包，元数据和索引数据等数据都存储在大对象中。在这种独特的结构下，将缓冲区改成以大对象为单位进行管理，能大幅降低数据库的I/O，从而提高数据库的查询效率。因此本文提出两种以对象为单位的缓冲区替换算法:分级LRU替换算法和三队列自适应替换算法。
　　本文还提出了能够灵活管理这些大对象的缓冲区空间分配和回收重用的方法。由于大对象是由连续的数量不等的页面组成，给缓冲区的空间管理带来了诸多不便。该方法用多个链表管理不同大小的缓冲区空闲数据块，通过对空闲缓冲区块进行分割、合并给不同大小的对象提供合适的缓冲区空间。
　　通过采用真实数据集的对比实验，证明本文对KStore缓冲区管理策略的优化可以有效的减少磁盘I/O，提高缓冲区命中率。

目录

摘要

第1章 绪论

1．1 课题背景

1．2 本文工作

1．3 本文结构

1．4 本章小结

第2章 相关研究工作

2．1 压缩数据库的存储结构

2．1．1 行存储结构

2．1．2 列存储结构

2．1．3 分包式存储结构

2．2 数据库缓冲区管理技术

2．2．1 缓冲区替换策略

2．2．2 缓冲区空间管理

2．3 本章小结

第3章 KStore缓冲区管理器

3．1 缓冲区模块介绍

3．2 KStore的数据缓冲区管理

3．3 KStore的输入输出管理

3．4 KStore的文件存储结构

3．5 KStore的I／O单位——专用大对象

3．5．1 KStore专用大对象的相关概念

3．5．2 专用大对象的结构

3．6 缓冲区管理流程

3．6．1 缓冲区管理对象

3．6．2 各步操作流程

3．7 本章小结

第4章 缓冲区替换策略研究

4．1 页级LRU缓冲区管理策略

4．1．1 缓冲区结构

4．1．2 算法概述

4．1．3 算法分析

4．2 分级LRU大对象替换策略

4．2．1 算法概述

4．2．2 具体实现

4．2．3 算法分析

4．3 三队列自适应替换算法

4．3．1 算法概述

4．3．2 具体实现

4．3．3 算法分析

4．4 本章小结

第5章 缓冲区的空间管理

5．1 概述

5．2 缓冲区管理流程

5．2．1 有空闲空间的插入

5．2．2 需要进行替换的操作方法

5．3 缓冲区空闲块的管理

5．4 本章小结

第6章 实验结果和分析

6．1 实验环境

6．2 实验设计和衡量方法

6．3 页面LRU和对象LRU的对比实验

6．4 对象级替换算法的对比实验

6．5 TPC-H测试

6．6 本章小结

第7章 总结和展望

7．1 全文总结

7．2 未来展望

参考文献

攻读硕士学位期间主要的研究成果

致谢