并行文件系统数据迁移研究与实现

摘要

随着信息技术的发展和广泛应用,人们对计算机系统数据存储能力的要求也越来越高。存储系统面临的问题主要包括:数据存储的地域空间范围更加宽广;数据量成指数级增长;数据传输速度不能满足应用需求。分布式存储系统通过大量节点连接起来协作,突破了单机 CPU、内存、I/O资源的瓶颈,能够提供更高的存储性能。在分布式文件系统中,当负载不均衡时,系统的服务能力会降低。平衡系统的负载对保证系统性能长期稳定具有重要意义。数据迁移是平衡系统负载的一种最有效的基本方法。
　　并行文件系统 pNFS(Parallel Network File System)是 NFS的并行扩展版本,具有良好的并行性,可扩展性。但是其数据服务缺乏负载均衡能力,制约了系统的性能。以并行文件系统 pNFS为基础,深入研究了并行文件系统中数据访问造成的负载均衡问题,着重研究了如何通过数据迁移来平衡系统的负载。提出了一种自适应负载的数据迁移方式 ALDM(Adaptive load data migration)来平衡系统中数据服务器的负载。首先将数据服务器上的不同类型资源负载进行分类评价,包括网络 I/O负载、磁盘 I/O负载、磁盘容量负载,然后根据系统中不同类型负载的具体情况,动态的选择数据迁移的源数据服务器、目的数据服务器和迁移的数据文件,通过有针对性的数据迁移,能及时平衡系统的负载,提高系统的性能。
　　实验测试表明,ALDM数据迁移技术在迁移时对系统性能影响较小,迁移完成后,系统性能有10％左右的提升,并且该方法在不同负载的系统中,适应性较好。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景及意义

1.2 研究现状

1.3 本文的主要工作

1.4 论文结构

2 并行网络文件系统(pNFS)改进

2.1 pNFS的系统结构

2.2 改进的pNFS系统

2.3 本章小结

3 自适应负载数据迁移算法的设计

3.1 ALDM架构

3.2 ALDM设计思想

3.3 数据服务器负载评价

3.4 迁移数据文件分类

3.5 数据迁移控制

3.6 ALDM算法设计

3.7 本章小结

4 自适应负载数据迁移的实现

4.1 数据服务器负载收集

4.2 文件统计分类实现

4.3 数据迁移控制

4.4 ALDM算法实现

4.5 本章小结

5 测试及分析

5.1 文件统计分类

5.2 节点负载评价

5.3 功能测试

5.4 性能测试及分析

5.5 本章小结

6 总结和展望

6.1 本文主要工作和贡献

6.2 课题展望

致谢

参考文献