分布式文件存储系统副本管理方法研究

摘要

随着互联网、物联网等新型应用的蓬勃发展，全球数据呈现爆炸式增长，大数据成为应用系统的特点。分布式文件存储系统通过分布式的架构支持海量文件数据的存储，是非结构化大数据存储的核心技术。而副本管理可增强系统的可靠性和容错性、方便进行系统负载均衡和服务性能调优，是分布式文件存储系统的关键技术之一。
　　 论文分析分布式文件存储系统中副本管理的功能和流程，综合考虑了用户访问行为、负载均衡、系统代价等方面，提出一种新型的副本管理方法。
　　 论文提出一种基于文件热度的动态副本管理方法。首先提出了一种多频率的文件热度算法，对文件多个周期的访问频率进行综合考虑来定量描述文件热度。同时，对于不同热度的文件，采用不同频率的热度更新策略。基于文件热度值，提出了包括副本数的调整方法，多频率的副本执行机制，副本放置位置的策略以及副本的一致性保证的副本管理方法。实验表明热度算法有效的解决了文件热度的统计周期与统计热度准确性之间的矛盾和用户的突发性访问问题，使得副本管理方法更加合理。
　　 论文提出考虑负载均衡的实时副本策略。首先通过动态调整负载指标权重，设计了一种可动态自适应应用程序的负载均衡算法，然后提出了与负载均衡算法相结合的实时副本策略，增加了高热度副本的缓存机制和实时副本调度机制。最后通过实验测试验证了应用程序自适应的动态负载均衡算法中的合理性以及实时副本策略的有效性;两者配合使用对于系统性能有较大提升。
　　 论文在钱塘分布式文件存储系统中实现了本文提出的副本管理方法，使系统在吞吐率、响应时间、负载均衡等方面都有了一定的提升。基于此存储系统的应用在JTang云盘，已被100多家企事业单位投入使用，效果良好。

目录

摘要

第1章 绪论

1．1 研究背景

1．1．1 分布式文件存储

1．1．2 副本管理

1．2 国内外研究现状

1．2．1 分布式文件存储系统

1．2．2 副本管理方法

1．3 论文研究内容

1．4 本章小结

第2章 分布式文件存储系统架构与副本管理

2．1 分布式文件存储系统架构

2．1．1 系统拓扑结构

2．1．2 系统详细功能

2．2 副本管理方法分析

2．2．1 副本管理的功能

2．2．2 副本管理流程

2．3 本章小结

第3章 基于文件热度的动态副本管理

3．1 传统副本策略面临的挑战

3．1．1 副本策略的动态调整

3．1．2 文件热度统计

3．2 多频率的文件热度统计方法

3．2．1 多频率的文件热度算法

3．2．2 文件热度更新

3．3 基于文件热度的动态副本管理方法

3．3．1 基于热度的副本数调整方法

3．3．2 多频率副本执行机制

3．3．3 副本放置位置策略

3．3．4 副本的一致性保证

3．4 性能测试

3．4．1 测试环境

3．4．2 测试结果

3．5 本章小结

第4章 考虑负载均衡的实时副本策略

4．1 考虑负载均衡的必要性

4．1．1 负载均衡

4．1．2 副本策略对负载均衡的意义

4．2 应用程序自适应的动态负载均衡算法

4．2．1 负载均衡流程

4．2．2 节点相关指标采集

4．2．3 应用程序类型判定及权重计算

4．2．4 基于权值的请求分配

4．3 考虑负载均衡的实时副本策略

4．3．1 高热度副本的缓存机制

4．3．2 实时副本调度决策

4．4 算法性能测试

4．4．1 实验环境和设计

4．4．2 实验及分析

4．5 本章小结

第5章 钱塘存储系统副本管理实现及性能分析

5．1 钱塘分布式文件存储系统

5．2 副本策略模块实现

5．2．1 基于热度的动态副本管理方法实现

5．2．2 考虑负载均衡的实时副本策略实现

5．3 性能测试

5．3．1 实验环境

5．3．2 测试结果

5．4 系统效果展示

5．5 本章小结

第6章 总结与展望

6．1 工作总结

6．2 未来工作展望

6．3 本章小结

参考文献

攻读硕士学位期间主要的研究成果

致谢