面向分布式文件系统的基准测试框架研究与设计

摘要

随着云计算技术的不断发展，需要存储的数据正在以指数型增长，云平台环境变得更加复杂和多样化，人们对数据存储性能的需求也日益上升和不断改变。作为云平台的基础组件，分布式文件系统为整个云平台提供了高效可靠的海量数据存储能力，成为当前流行的数据存储解决方案，因此分布式文件系统性能的优化和提高对整个云平台性能的提升至关重要。然而，当前并没有针对分布式文件系统的通用评测框架，通过统计模拟的方式对复杂的云环境I/O负载进行真实地模拟。而且云环境I/O负载的异质性以及分布式文件系统自身的复杂性使得其性能评测困难重重，如何对其进行真实高效地测试并使得测试报告能够对系统的性能优化、容量规划等提供指导意义，已经成为当前的热点研究问题。
　　在对分布式文件系统的评测过程中，本文其影响因素分为两类，第一类是预设数据集，即如何预先生成文件、目录等以对其进行I/O操作。在分布式文件系统中，元数据服务器对文件的元数据进行管理，数据的特征会影响其I/O操作的性能。因此，实验数据集是非常重要的评测因素。本文从文件副本数、目录深度、文件数量、文件大小、文件类型等方面对其进行研究并验证。
　　第二类是I/O请求到达模式。这也是非常重要的负载因素，然而许多的评测框架都把这些指标给简化了，通常以固定速率或者泊松过程代替，这在云环境中是不合适的。为了解决这个问题，本文深入研究了云环境I/O请求特征，将其分成了四个部分：（1）I/O请求到达速率；（2）I/O请求到达时间间隔；（3）周期性；（4）I/O请求数据。这四个特征共同作用生成真实有效的I/O负载。本文对这四个特征进行详细论述，并阐述在评测过程中如何生成同时满足这四个约束条件的I/O负载，在实验部分对其正确性进行了验证。
　　最后，本文依据灵活性、可扩展性、易用性等原则设计并实现了一套分布式文件系统基准测试框架。通过简单地配置信息，该框架便能够模拟云环境I/O负载，对通用文件系统进行有效的性能评测，对用户在性能对比、优化等方面有所帮助。本文详细说明了其设计和架构。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题研究背景与意义

1.2 当前研究现状

1.3 课题的意义

1.4 论文研究的主要工作

1.5 论文的组织与结构

第二章 相关技术

2.1 分布式文件简介

2.2 统计模拟

第三章 分布式文件系统的评测方法研究

3.1 分布式文件系统评测步骤研究

3.2 元数据预置模型

3.3 I/O请求到达速率模型

3.4 I/O请求时间间隔模型

3.5 I/O请求数据模型

3.6 I/O响应模型

3.7 本章小结

第四章 评测框架设计与实现

4.1 设计思想

4.2 评测框架架构

4.3 本章小结

第五章 实验测试结果与性能分析

5.1 实验环境准备

5.2 系统可扩展性评测

5.3 单客户端IOPS饱和度评测

5.4 多客户端IOPS评测

5.5 I/O请求到达评测

5.6 I/O请求的周期性评测

5.7 I/O请求数据类型模型验证

5.8 文件副本数验证

5.9 文件类型比例验证

5.10 文件大小验证

5.11 模拟数据正确性验证

5.12 本章小结

第六章 总结与展望

致谢

参考文献

附录作者在读期间发表的学术论文及参加的科研项目