分布式数据库系统热点负载均衡研究

摘要

分布式集群系统是应对当下大数据处理要求的主流方案之一，实现分布式集群系统的负载均衡性，有利于提高集群系统的稳定性和高效性。对于分布式集群数据库系统HBase在热点场景下的负载均衡机制的不足进行改进，增强Hbase在相关应用中的适应能力具有实际的意义。
　　在分析了分布式系统的负载均衡机制和HBase工作流程的基础上，针对HBase的热点问题，设计了一个分布式数据库系统热点负载均衡机制。该机制在合理甄选负载因子的基础上，通过热点负载均衡排名组合算法和缓存移动等技术实现了对热点问题的负载均衡处理。在选择负载因子的过程中，结合软件、硬件、负载因子的特点、热点需求、实现难易程度等因素考虑，最后选择了CPU使用率、读请求个数、读请求响应时间来作为热点负载均衡机制中的负载因子。热点负载均衡机制中设计的排名组合算法是分别在不同单位级别的节点上将负载因子按照大小排名，计算出不同级别节点上的热点分布。采用缓存移动技术对热点负载均衡算法进行了优化，通过保留部分缓存数据并伴随节点移动到目的节点的方法，提高了节点的启动速度和服务性能。
　　实验中用HBase-0.96.0作为测试环境，通过对比HBase原版负载均衡机制和热点负载均衡机制，表明热点负载均衡机制在应对热点场景方面有明显的优势，能使集群快速恢复负载均衡，有更大的吞吐量。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景

1.2 国内外概况

1.3 课题主要研究工作

2 分布式数据库系统热点负载均衡的分析

2.1 HBase负载均衡机制及其热点问题的分析

2.2 热点负载均衡问题的分析

2.3 本章小结

3 分布式数据库系统热点负载均衡机制的设计与实现

3.1 热点负载均衡的负载因子甄选

3.2 热点负载均衡的排名组合算法

3.3 基于缓存移动技术的Region热启动优化

3.4 分布式环境下热点负载均衡机制的整体实现

3.5 本章小结

4 实验及结果分析

4.1 实验目的

4.2 实验环境说明

4.3 实验过程及结果分析

4.4 本章小结

5 总结与展望

5.1 全文总结

5.2 展望

致谢

参考文献