分布式数据交换平台的主节点选举算法的优化研究

摘要

随着大数据时代的到来，各行各业产生的数据量都急剧的增长，传统的单节点服务器的局限性开始显露。在解决高并发访问问题上，分布式服务器逐渐成为更好的一种方案。在这个背景下，为了处理日渐增长的ETC数据量问题，武汉市ETC交易系统也引入了分布式服务器，重新构建一个高并发、高整合性的数据交换平台。然而该数据交换平台为了兼容过去ETC采用的单数据源模式，使得部分业务产生了“多服务器单数据源”的问题，无法满足业务数据之间的数据一致性。
　　由于，此类问题具有一定的普遍性。本文针对ETC项目中引出的“多服务器单数据源”的一致性问题，着重研究了几种比较常用的分布式一致性算法中的主节点选举方案。分析后作者发现，Raft算法的随机超时选举主节点机制，非常适合解决分布式服务器在单数据源模式下产生的一致性问题。与此同时，作者也发现，Raft算法本身未能结合服务器负载情况进行实时选举，在长期运行正常的集群中表现一般。
　　因此，本文提出一种基于负载的投票机制，将服务器的CPU使用率、内存使用率、网络带宽占用率和磁盘使用率四个参数作为服务器负载的评价标准。作者通过监测ETC服务器的实时负载数据，将负载计算引入新的主节点选举机制，同时，改进Raft算法中的通信选举协议与流程，新增在心跳协议过程进行主节点的选举模式。文章最后对改进前后的Raft算法性能做比较。结果显示，虽然选举时间速率有所小幅下降，但是在服务器负载差距比较大的情况下，集群的访问效率提升了最多25％。在一定程度上，提升了系统的异常情况下的性能，而不至于影响系统的正常情况的性能。

目录

声明

1 绪 论

1.1 研究背景及研究目标

1.2 国内外研究现状

1.3 主要研究内容和章节安排

2 分布式主节点选举相关知识

2.1 一致性模型

2.2 二阶段与三阶段提交协议

2.3 Quorum机制

2.4 本章小结

3 改进后Raft算法的理论研究

3.1 目前ETC平台上存在的一致性问题阐述

3.2 现有的ETC数据交换平台使用的算法简介

3.3 现有的主节点选举算法对比

3.4 基于负载的改进Raft算法的提出

3.5 本章小结

4 基于负载的Raft算法的设计与仿真

4.1 改进后的Raft算法思路

4.2 改进后的Raft算法仿真

4.3 本章小结

5 系统测试与性能分析

5.1 测试环境

5.2 测试方法与结果分析

5.3 本章小结

6 总结与展望

6.1 研究总结

6.2 研究展望

致谢

参考文献