海量规模下高性能对象存储服务技术的研究

摘要

随着对象存储技术的不断深入人心，目前已经涌现出一大批功能相近接口相似的对象存储系统。然而，由于对象存储系统实现的多样性以及每个系统本身的复杂性，外加缺乏模拟对象存储应用的通用负载工具，导致人们不仅难以在众多的系统中选出最适合当前应用场景的解决方案，同时也无法有效对这些解决方案进行系统调优以及性能优化。
　　为了应对上述问题，本文提出了对象存储的应用模型，并在此基础上设计并实现了对象存储性能基准测试工具：COSBench。COSBench具有很好的可扩展性、可伸缩性、灵活性，以及易用性，从而使得人们能够方便地将COSBench适配至异构的存储系统，并模拟出各类不同的测试场景，包括那些极端的使用模式。目前，COSBench用于支持Intel内部多个对象存储系统的性能评估以及系统调优工作。此外，COSBench也成功地得到了10多个企业客户的使用以及认可。在未来，COSBench将转为开源软件，从而使得更多的人能够接触到这款工具。
　　在系统调优以及性能优化方面，本文以Openstack Swift为案例，探讨了该系统在4种不同使用场景下的性能瓶颈以及硬件资源使用模式，并在此基础上提出了相应的系统调优方案以及性能优化方案。此外，本文还对Swift系统的源代码进行了剖析、对实验经验进行了总结，并对除性能外的其他重要系统属性进行了相关的介绍以及说明。
　　结合本文的成果，人们可以针对不同的使用场景以及性能瓶颈来更加合理地部署Swift系统，从而能够在给定的性能要求下，尽可能地降低构建系统所需的成本。于此同时，本文的实验数据也可帮助人们更好地挖掘系统潜在的性能优化机遇，并更有针对性地改进现有的系统架构以及算法设计，从而能够在给定的预算条件下，尽可能地提高系统的总体性能。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

导言

1.1 研究背景

1.2 研究内容

1.3 研究意义

1.4 论文结构

第二章 相关研究现状

2.1 研究概述

2.2 结构化数据领域

2.3 非结构化数据领域

2.4 基准测试领域

2.5 对象存储领域

第三章 对象存储性能基准测试

3.1 性能基准测试

3.2 应用模型

3.3 系统设计

3.4 系统实现

3.5 本章小节

第四章 对象存储系统调优

4.1 系统调优

4.2 实验环境

4.3 使用场景

4.4 实验结果

4.5 本章小节

第五章 对象存储性能优化

5.1 源码剖析

5.2 优化方案

5.3 经验总结

5.4 其他系统属性

5.5 本章小节

第六章 全文总结与展望

6.1 全文总结

6.2 未来展望

参考文献

致谢

攻读学位期间发表的学术论文目录