基于数据热点和分片性能差异的MongoDB自适应负载均衡策略研究

摘要

近年来，接入到网络中的设备呈指数级增长，互联网由此产生了海量的数据。传统的集中式存储方案在存储性能和可靠性等方面已经满足不了人们日益增长的需求，大数据的存储已经成为了当今时代的一项巨大挑战。应时势需求，各种分布式数据库便如雨后春笋般涌现出来。其中，目前使用最广泛、性能最优越的当属NoSQL数据库。
　　MongoDB作为一种新兴的NoSQL数据库，以其水平扩展、面向文档、模式灵活、故障自动转移等优良特点深受国内外市场的欢迎。MongoDB支持自动分片，其内部自带的负载均衡策略能使各个节点达到基于数据量的平衡。但是在实际的生产环境中，在数据块(Chunk)数量相当的情况下，节点间的性能差异和数据访问热度的不同会导致集群中某些节点处于超载的现象。
　　针对上述问题，本文做了以下工作来对MongoDB负载均衡策略进行优化，旨在提高系统的性能，保证用户体验的流畅性。本文的主要贡献如下:
　　(1)根据其负载均衡策略的不足提出一种新的架构。主要包含访问控制模块、资源管理模块、负载预测模块和数据迁移模块。访问控制模块就是用来控制客户端对系统的访问。资源管理模块对系统的中各个分片的负载进行初步预测，并以此来自适应调整负载预测的周期。负载预测模块对各个分片和Chunk块的负载进行预测。数据迁移模块主要用来控制数据的迁移工作。
　　(2)在负载预测模块中引入马尔科夫(Markov)模型，并对其可行性进行分析。通过对各个分片的数据操作构建Markov链，求出一步转移概率矩阵和各个操作的稳态向量。结合分片上的数据容量、服务器间的性能差异、数据操作的负载权重以及数据的访问热度对各个分片和Chunk块上的负载进行定量预测。以各个分片和各个Chunk块上预测的负载为依据，选择合适的源服务器、目标服务器以及将要迁移的Chunk块。在选择之前，引入二叉排序树对各个分片和Chunk块的负载进行排序。然后制定相应的数据迁移策略来决定何时对选择的Chunk块进行迁移以及何时达到负载均衡。
　　(3)搭建实验平台，首先通过实验确定各个操作的负载因子。然后，将本文提出的负载均衡算法和MongoDB自带的负载均衡算法相对比，通过实验验证此算法不仅能很好的均衡系统的负载，而且可以减少系统的响应时间。

目录

摘要

1 绪论

1．1 研究背景

1．2 研究意义

1．3 研究现状

1．4 研究内容

1．5 论文组织结构

2 MongoDB和负载均衡算法

2．1 MongoDB的优点

2．2 MongoDB相关技术

2．2．1 主从复制

2．2．2 副本集

2．2．3 分片

2．3 MongoDB负载均衡策略

2．3．1 Chunk块拆分

2．3．2 负载均衡算法

2．3．3 存在的不足

2．4 本章小结

3 基于Markov预测模型的负载均衡架构

3．1 负载均衡策略分析

3．2 MongoDB负载均衡架构

3．3 架构的实现

3．3．1 访问控制模块

3．3．2 资源管理模块

3．3．3 负载预测模块

3．3．4 数据迁移模块

3．4 本章小结

4 自适应Markov负载预测模型

4．1 可行性分析

4．2 建立Markov模型

4．2．1 获取数据历史操作

4．2．2 构建Markov链

4．2．3 构建一步转移概率矩阵

4．2．4 生成稳态概率向量

4．3 负载预测

4．3．1 自适应预测周期

4．3．2 基于分片的负载预测

4．4 本章小结

5 数据迁移策略

5．1 数据迁移效率分析

5．2 分片和Chunk块负载的排序

5．3 数据迁移算法

5．4 数据一致性处理

5．5 本章小结

6．负载均衡实验

6．1．1 实验平台搭建

6．1．2 实验数据

6．2 操作负载因子确定

6．3 实验结果和数据分析

6．3．1 负载比较和分析

6．3．2 性能对比和分析

6．4 本章小结

7 总结和展望

7．1 工作总结

7．2 工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢

声明