Bigtable分布式存储系统的研究

摘要

云存储是云计算的核心内容,其市场潜力巨大。Bigtable分布式数据存储系统是Google为其内部海量的结构化数据开发的云存储技术,是Google的第三项云计算关键技术。Bigtable具有高可靠性、高性能、可伸缩等特性,是所有云时代分布式存储系统的开发蓝本。然而,Bigtable中仍存在许多亟待改进的地方。
　　本文首先对Bigtable的实现细节进行具体的表述,并在深入了解Bigtable架构、逐步剖析Bigtable实现细节的基础上,提出了Bigtable在批量插入、主服务器故障恢复、SSTable压缩机制、子表服务器重启、时间轴访问效率低和读操作延迟方面的问题。并在系统分析各个问题的产生原因之后,给出了这些问题可能的解决方案。对于每种方案,都通过仿真或性能分析,给出了新方案在解决Bigtable原有问题上的优势。
　　本文针对Bigtable常规方法在批量插入时会导致子表频繁分裂的问题,给出了带预估期的批量插入方案。对于Bigtable主服务器重启操作流程复杂、资源和时间消耗多的问题,本文将检查点机制应用到主服务器的恢复中,给出了带检查点的主服务器恢复机制。对于Bigtable原压缩机制对周期的选取要求较高的问题,给出了一种基于数量的压缩方案。对于Bigtable中子表服务器重启不能有效利用其本地磁盘上的SSTable文件,增加不必要的网络通信和数据传输的问题,本文给出了子表服务器初始化的新方案。对于Bigtable在时间轴上访问低效的问题,本文给出了带时间索引的SSTable设计。对于Bigtable中元操作延迟的问题,本文给出了让子表服务器一边从GFS上读取数据,一边与客户端通讯将数据返回给客户端的方案。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景及意义

1.2 Google 云计算

1.3 本文结构

第二章 Bigtable及其关键技术

2.1 Bigtable数据模型

2.2 Bigtable架构与实现

2.3 类Bigtable产品

2.4 本章小结

第三章 Bigtable问题剖析

3.1 批量插入

3.2 主服务器故障恢复

3.3 压缩机制

3.4 子表服务器重启

3.5 其他问题

3.6 本章小结

第四章 Bigtable系统优化

4.1 带预估期的批量插入方案

4.2 主服务检查点的实现

4.3 基于数量的压缩方案

4.4 子表服务器初始化

4.5 其它问题的解决方案

4.6 本章小结

第五章 总 结

致谢

参考文献

作者攻读硕士期间的研究成果

作者攻读硕士期间参加的科研项目