云存储环境下分布式文件系统的副本策略研究

摘要

随着互联网的高速发展，网络上产生的数据量呈爆炸式的增长，对这些数据的存储成为了计算机领域研究的热点。传统的存储方式，比如存储区域网络和网络附加存储因为其存储容量和性能存在瓶颈，价格昂贵，不易扩展等原因，应用范围受到限制。云存储采用分布式文件系统为核心，硬件设备价格低廉，可扩展性好。副本技术提高了系统的可靠性、可用性和性能的同时，也带来了负载均衡，网络带宽开销，一致性等问题。
　　本文分析了当前典型的分布式文件系统，结合云存储环境下的业务特征，研究了相应的副本策略，重点考虑系统访问的效率和性能，负载均衡，数据的一致性等问题，并根据这些需求设计和实现了分布式文件系统中的副本管理模块。本文的主要工作包括以下内容：
　　（1）提出了基于一致性哈希的副本放置策略。传统的分布式文件系统副本放置位置主要通过元数据中心服务器存储，当系统并发访问量很大时，元数据服务器将成为系统的瓶颈。基于一致性哈希的副本放置策略很好的解决了文件检索，存储设备扩展和失效的问题。引入虚拟节点映射，极大地减少了系统设备的改变带来的数据迁移。同时对设备按照存储能力增加权重属性，更好的提高了系统的负载均衡。
　　（2）提出了基于文件热度的副本调整策略。该策略以文件的请求次数为基础，结合服务器的负载，动态地调整副本数量，提升了系统的性能和效率。同时，辅以副本压缩策略，对长时间没有访问的文件副本压缩，在保证数据可靠性和可用性的同时，节省了系统的存储空间。
　　（3）提出了基于用户请求的副本一致性策略。该策略在对副本一致性维护的同时，充分考虑到了避免增加系统开销。同时，为了防止长期没有用户访问的文件不一致而使得数据的可靠性降低，副本失去冗余备份的作用，采用定时更新的机制，在系统空闲的时候将系统中副本各版本更新到一致状态。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景

1.2 研究问题的提出

1.3 研究内容

第二章 相关技术

2.1 专用分布式文件系统

2.2 通用分布式文件系统

2.3 本章小结

第三章 系统总体设计

3.1 需求分析

3.2 系统架构

3.3 系统各模块功能

3.4 数据交互

3.5 本章小结

第四章 副本策略的研究与设计

4.1副本放置策略

4.2 副本调整策略

4.3 副本一致性策略

4.4 本章小结

第五章 副本管理模块实现

5.1 底层支持模块

5.2 副本放置子模块

5.3 副本调整子模块

5.4 副本一致性维护子模块

5.5 本章小结

第六章 系统测试

6.1 测试环境

6.2 功能测试

6.3 性能测试

6.4 本章小结

第七章 总结与展望

7.1 工作总结

7.2 进一步的工作

致谢

参考文献

攻读硕士期间取得的研究成果