对象存储系统中热点数据的研究

摘要

随着计算机网络的飞速发展，用户对数据需求的不断增加，这给网络存储技术的发展带来了机遇，同时也使分布式存储系统面临越来越多的挑战。在众多的挑战中，如何提高存储系统I/O性能和如何管理大规模复杂存储系统是摆在很多公司企业和科研机构面前的两大难题。一方面，代表用户需求的热点数据，是解决存储系统I/O性能难题的钥匙，但是，当前热点数据在存储系统中并没有得到最大限度地利用，也没有全面而系统地分析，导致整个存储系统的性能并没有得到最大程度地提升。另一方面，随着存储系统的日益复杂，传统的人工管理方式已经不适应现代存储技术的要求，如何把用户的需求传达给存储系统，让大规模存储系统自适应管理也成为一个重要的课题。
　　 对象存储和属性管理技术的出现让上述两个难题有了解决的可能。在对象存储系统中，对象代替传统意义的文件，拥有更丰富的语义内容，能够传递更多热点数据的相关信息；结合属性管理技术，分析用户的需求和数据访问特征，提炼出与热点数据相关的属性，可以实现对存储系统进行自适应管理并提高系统的性能。为此，本文首先提出了基于热点数据系统级的解决方案――对实际应用的热点现象进行分析，然后根据实际应用中的热点数据访问特征，率先提出了对象存储系统中热点的定义和分类，结合T10OSD-3标准建立热点属性页，并针对不同应用和负载给出了基于热点的动态数据组织策略和服务质量保证。
　　 其次，针对存储系统中热点预测及单级Cache中存在的问题，结合热点数据的访问特征和类Zipf定律，给出了一个全新的热点预测方法――对象热点预测模型OHPM。并根据阶段性热点的特点，加入了访问频率增长率来预测阶段性热点以作为其补充。根据两种热点对象截然不同的数据访问特征，给出了基于热点的单级Cache策略――采用双Cache栈的方式并实现自适应管理。并对热点命中率和时间粒度的参数问题进行了讨论。
　　 再次，由于对象存储系统中启动器和目标器已然构成多级Cache系统，针对当前多级Cache数据隐示中存在的普遍问题，提出了一个创新性的解决方案――基于K步数据隐示的多级Cache算法（Hint-K）。Hint-K算法充分运用了升级隐示和降级隐示的历史信息，并可利用K步数据隐示值来简单判断一个数据块的活跃程度。并给出K在不同情况下Hint-K算法的实例分析。最后设计并实现了原型系统――热点属性管理的存储系统HASS，通过实施基于热点的动态数据组织和服务质量保证（HO）、对象热点预测（HP）和单级Cache策略（HC），系统的性能提高了62％并降低了25％的I/O操作。在不同负载下的多级Cache仿真测试中，Hint-K实现了比其它多级Cache算法（如MQ、DEMOTE和PROMOTE算法）更加优异的性能。

目录

文摘

英文文摘

声明

1 绪论

2 热点数据的定义、分类和组织

3 对象热点预测及单级热点Cache策略

4 基于热点的多级Cache算法：Hint-K

5 原型系统的设计、仿真和实验

6 全文总结

致谢

参考文献

附录