面向Key‑Value系统的compaction粗粒度进程级并行优化方法及系统

摘要

本发明公开了面向Key‑Value系统的compaction粗粒度进程级并行优化方法及系统，所述方法包括：主进程接收到读写请求后判断是否需要调度compaction线程，若是，主进程将compaction线程中的任务信息分割为主进程子任务和从进程子任务；主进程和从进程分别对主进程子任务和从进程子任务进行compaction操作；主进程在主进程完成主进程子任务compaction操作且从进程完成从进程子任务compaction操作后对Key‑Value系统的文件进行优化。本发明利用主进程完成Key‑Value系统中compaction任务的动态分割，并实现了与从进程协同compaction处理的新模式，挖掘了compaction任务的进程级并行性，充分利用了CPU的计算资源，提高了CPU资源的利用率，且优化了compaction消耗的时间，不仅提高了数据处理的实时性，而且提高了系统性能以及吞吐量。