一种轻量级键值存储系统的研究与实现

摘要

瓦记录技术能够提升磁盘的存储密度，被广泛应用于海量数据存储系统中。以键值(Key-Value，K-V)系统为代表的非关系型数据库，能够为大数据应用提供高性能，高扩展性，高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM树)是K-V系统的主流索引结构之一，能够提供较高的写入性能。然而，LSM树的内部合并会带来很高的读写放大，而在瓦记录磁盘随机写性能缺陷的影响下，读写放大会进一步增加，使现有的LSM树系统不能很好地应用于瓦记录磁盘之上。因此，研究基于瓦记录磁盘的键值系统具有重要的现实意义。 基于LSM树结构，提出轻量级合并(Light-Weight Compaction,LWC)算法。轻量级合并过程中采用元数据合并与数据追加的策略，在保证元数据查找效率的基础上，能够减少合并时的磁盘开销，提高合并效率；轻量级合并完成后采用元数据聚集策略，减少下一次合并时的读开销。基于轻量级合并算法设计并实现LWC树存储引擎。结合瓦记录磁盘物理结构，使用自定义的磁盘空间管理策略，设计并实现LWC树存储系统，将LWC树存储引擎运行于瓦记录磁盘之上，规避随机写的性能缺陷，减少读写放大，在利用瓦记录磁盘容量优势的基础上进一步提升系统写入性能。 本文实现了LWC存储系统原型，并将LWC树系统与LSM树系统进行了对比测试，测试结果表明，LWC树系统能够有效提升写入性能，随机写性能是运行于瓦记录磁盘上的LSM树系统的9.8倍，是运行于普通磁盘上的LSM树系统的4.67倍。LWC树存储系统也可以应用于普通磁盘与SSD之上，对于运行于同种介质的LSM树系统，依然可以取得较高的写性能优势。

目录

第一个书签之前