基于SSD的并行文件系统架构和策略研究

摘要

随着时代的发展，在气象预报、天文计算、矿产油气勘探、生物高分子计算和航空航天军事模拟计算等诸多领域，科学计算对计算结果的时效性和准确性提出了越来越高的需求。科学计算应用也由计算密集型逐渐转变为数据密集型，对高性能计算系统中存储系统的I/O性能要求越来越高，因此，研究存储系统中部署的分布式并行文件系统的I/O性能优化问题，对于提高科学计算应用的运行效率具有重大意义。
　　高性能计算系统中部署的分布式并行文件系统，采用一系列优秀的系统架构设计，非常适合大文件的顺序访问，在大文件应用下的性能表现优异，例如部署十分广泛的Lustre文件系统。然而，这些设计对于大规模随机访问和小文件 I/O非常不利，尤其是在海量小文件应用场景下，性能大大下降。为了解决因为大规模随机访问和小文件访问引起的并行文件系统性能严重下降的问题，文件分布可配置和自适应系统通过将固态硬盘与传统的机械硬盘组成混合存储系统，根据文件分布规则决定文件存储位置。该系统由I/O中间件、调度器模块和文件读写模式识别模块组成，根据文件分布规则决定文件存储位置，对固态硬盘资源实行统一的分配和回收管理，以及通过文件模式识别技术提供可配置和自适应的文件分布功能，以此来解决Lustre等并行文件系统因大规模随机访问和海量小文件访问而引起的性能严重下降问题。
　　通过与原有的Lustre文件系统进行对比实验的结果表明，在相同条件下，不同的测试环境中，该系统均表现出更好的读写性能，对于 I/O性能的提升达到25％—89%。

目录

封面

声明

中文摘要

英文摘要

目录

1. 绪论

1.1研究背景和意义

1.2国内外研究现状

1.3研究内容

1.4论文框架结构

2. Smart系统架构与设计

2.1系统概述

2.2关键问题与难点分析

2.3相关系统简介

2.4体系结构与功能模块

2.5工作机制与工作流程

2.6小结

3. Smart系统文件分布可配置和自适应机制

3.1文件分布规则决定文件存储位置机制

3.2 SSD资源分配回收管理机制

3.3文件读写模式识别机制

3.4小结

4. 系统测试和性能分析

4.1测试环境

4.2功能测试

4.3性能测试

4.4小结

5. 总结与展望

致谢

参考文献

附录1 攻读硕士学位期间参加的主要科研项目

附录2 攻读硕士期间申请的软件著作版权目录