一种写入batch group串行化逻辑的优化方法

摘要

本发明涉及数据库领域，具体提供了一种写入batch group串行化逻辑的优化方法，每个batch使用独立的线程，基于滑动窗口机制来实现WAL的并发写入，多次并发访问小IO，维护一个WAL目录，每个batch对应生成一个单独的小log文件。与现有技术相比，本发明优化了RocksDB中WAL写入时batch group串行化逻辑导致的batch写入性能瓶颈问题，不再使用RocksDB内部组提交机制，而是基于滑动窗口机制支持实现batch并发写入WAL，可以通过设置窗口大小来控制并发程度，将一次大IO转换为并发访问小IO。充分利用了SSD的高读写速度和具有并发特性的性能优势，很大程度上提升了存储引擎的写性能。