利用差异化索引机制的高性能和易扩展的键值存储方法

摘要

本发明公开了一种利用差异化索引机制的高性能和易扩展的键值存储方法，特征是包括差异化的索引设计、键值数据对的部分分离、基于键值范围的数据动态分区管理和范围查询优化。由于采用两层存储架构并对无序层的热数据建立哈希索引，使得该系统能够充分利用数据的局部性原理来加速对热数据的访问，并保证了较低的索引内存开销和高效的数据查询效率；此外，键值数据对的部分分离存储，极大地提高了合并效率；其次，对不同键值范围的数据进行动态分区管理，实现了键值存储的横向水平扩展，保证在大规模数据存储下也能获得高效的读写性能；最后，设计基于文件数量的合并策略，采用多线程技术并行读取日志文件，且结合预读机制来加速范围查询。