基于SSD-SMR混合存储的LS M树键值存储系统的性能优化

摘要

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求.瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统.但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能.同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cas-sandra和HBase等.因此,如何基于新型的SSD-SM R混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题.首先建立基于SSD-SM R混合存储的LSM树键值系统的性能模型,然后针对SSD和SM R的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统.在仅仅使用0.4％ ～2％ 空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20％,随机读性能提高5倍.