一种面向近数据处理架构下键值存储系统的异步并行优化方法

摘要

本发明涉及数据索引查询技术领域，尤其为一种面向近数据处理架构下键值存储系统的异步并行优化方法，本发明中，利用近数据处理的键值存储技术，本方案将部分compaction计算任务卸载到NDP设备端进行计算来减少数据移动，实现传统的以计算为中心模型向以数据为中心模型的转变。充分挖掘NDP设备端的计算能力，实现异构环境下compaction任务的系统级并行与任务并行，通过多种优先级调度与多队列管理的异步并行策略，有效避免了同步协同策略下因两端计算能力差距带来的延时。此外，跨层compaction机制可以降低写放大，同时提升compaction任务的处理效率。