基于HBase的后勤保障监控数据实时检索方案设计

摘要

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10~30倍,方案可行且高效。