基于HBase与Netty的煤矿微震时序

摘要

在当前智能煤矿场景中,大量煤矿微震传感器所产生的时序数据呈爆炸式增长,进而对现有的存储系统及性能都有了更高的要求。目前已经存在基于分布式列族数据库HBase能够存储工业时序大数据的实例,但是由于没有考虑到特定业务场景中数据的特征关联问题,现有的策略仍然无法较好地满足煤矿微震波形时序数据的特定存储需求。针对上述问题,基于分布式存储系统HBase,利用煤矿微震波形时序数据的特征,提出了基于HBase与Netty的煤矿微震时序大数据存储性能优化(CM^(2) TS-HBase),分成四个部分,分别为数据采集层、数据预处理层、数据中转层以及数据存储层。其中,数据采集层分为离线部分与实时部分,离线部分即存储在数据中心硬盘中的历史微震时序数据文件,实时部分即部署在某煤矿的多个微震波形传感器通过网络实时地向数据预处理层进行数据缓冲;数据预处理层实现对波形时序数据的文件进行对齐、解析以及序列化操作。根据煤矿微震波形时序数据特征提出了适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,有效地解决了数据存储过程中出现的数据热点问题以及数据分散问题;数据中转层提出了基于Netty与Redis的数据转发中间件平台为整个存储体系提供异步处理机制,较好地解决了高并发存储问题;数据存储层是基于分布式数据库HBase作为存储体系的底层存储媒介。最终根据真实数据集的存储耗时证明了相较于原生存储方法(HBase API)与基于金融时序数据存储优化(FTBase),CM2T S-HBase在煤矿微震时序数据的存储性能有了明显提高。