分级存储中数据迁移机制的实现

摘要

分级存储的设计初衷是将数据按访问热度的不同存储于不同性能的存储设备上,最大化存储利用率。当数据的热度发生变化时,便将数据迁移至更符合其当前热度值的存储设备上。因此,对于分级存储系统而言,设计对前台应用透明、高效的数据迁移机制具有重要的研究价值。
　　迁移过程主要分为三个模块来设计:热度统计模块、策略匹配模块以及数据迁移模块。热度统计模块在通用块层实现访问频度计数,支持基于访问频度与时间权重值的热度评价。策略匹配模块建立可定制的策略规则和通用规则,设计了基于物理卷(PV)占用率的阈值动态调整算法和基于存储节点负载均衡的PV申请算法。数据迁移模块实现三种能够断点续传的数据迁移算法:(1)将读取的源卷数据块写入目的卷对应数据块的简单数据迁移算法(SCP);(2)基于Device-mapper中内核复制线程(kcopy)并实现数据一致性的数据迁移算法(I-kcopy);(3)基于SCP迁移并实现读写并行的数据迁移算法(RWCP)。另外,为保障迁移后数据的一致性,设计并分析了基于记录-写策略的一致性方案,以及基于分段处理的一致性方案。
　　具体实现了数据迁移机制的原型HSDM_COPY,并对其数据迁移速度及数据迁移过程中对用户性能的影响两个方面进行测试。实验数据表明,在高负载强度的情况下,数据迁移使磁盘吞吐率下降10％~25%,在正常情况下,数据迁移基本不影响用户对系统的正常访问。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题背景

1.2 课题研究现状

1.3 课题研究目的及内容

1.4 论文组织结构

2 系统设计

2.1 热度统计

2.2 迁移策略

2.3 迁移算法

2.4 数据一致性

2.5 数据交换

2.6 本章小结

3 数据迁移的实现

3.1 系统原型简介

3.2 热度统计模块

3.3 策略匹配模块

3.4 数据迁移模块

3.5 本章小结

4 数据迁移测试和性能分析

4.1 测试环境

4.2 测试内容及方法

4.3 测试结果与分析

4.4 本章小结

5 总结与展望

5.1 工作总结

5.2 工作展望

致谢

参考文献