基于一致性哈希的分层混合存储系统设计与实现

摘要

大数据时代，数据海量增涨，支持低成本、大容量、高效率存储是构建存储系统的关键。研究表明，根据80/20定理，80%的请求访问了20%的数据，即大部分的请求集中于对小文件、热数据的访问。传统硬盘（HDD）和纠删码存储策略适用于大文件、冷数据存储；新型固态硬盘（SSD）和副本存储策略适用于小文件、热数据存储。因此针对不同特性数据选择不同存储介质及存储策略已成为发展趋势。
　　在OpenStack Swift对象存储系统的基础上，本文根据存储介质、存储策略的差异性，设计分层一致性哈希环，对应固态硬盘集群和传统磁盘集群分别构建固态硬盘集群哈希环（SSD Ring）和传统磁盘集群哈希环（HDD Ring），其中固态硬盘集群采用三副本的存储策略，传统磁盘集群采用纠删码存储策略。存储对象通过其重要性、访问频率、容量等指标进行分层存储，使得热数据、小文件采用副本存储策略，通过SSD Ring分配到固态硬盘集群；冷数据、大文件采用纠删码存储策略，通过HDD Ring分配至传统磁盘集群。此外引入监控系统模块，确定不同时间段采集数据频率及其迁移阈值，提出数据迁移调度策略。监控系统定期监控固态硬盘集群使用率，当固态硬盘集群存储容量超过其阈值时，按数据访问次数和最后访问时间两个指标选择确定冷数据，将其迁移至传统磁盘集群，实现降级迁移调度策略。升级迁移调度策略引入温数据概念，减少因偶然事件引起的不必要数据迁移。当传统磁盘集群中某数据在一定时间段被频繁访问，该数据热度标志位由冷、温标志上升至热标志，则认定数据再次变热，触发升级调度，将其迁移至固态硬盘集群。
　　实验表明，针对负载特性进行分层存储，根据存储对象特点提供不同存储介质及存储策略，增强系统灵活性、提高系统读写性能，并保证其稳定性。

目录

声明

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 本文研究内容

2OpenStack Swift系统节点管理分析

2.1OpenStack Swift简介

2.2 一致性哈希算法

2.3 节点管理瓶颈分析

2.4 本章小结

3 分层混合存储系统设计与构建

3.1 总体框架设计

3.2 SSD集群数据信息管理

3.3 分层一致性哈希环设计

3.4 I/O请求重定向设计

3.5 分层混合存储系统实现

3.6 本章小结

4 数据迁移调度设计

4.1 数据升级调度设计与实现

4.2 数据降级调度设计与实现

4.3 本章小结

5 测试

5.1 测试环境参数及配置

5.2 功能测试

5.3 性能测试

5.4 讨论

5.5 本章小结

6 总结与展望

6.1 总结

6.2 展望

致谢

参考文献