高速铁路道岔异构数据在Hbase上的云存储方案

摘要

实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义.目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案.针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证.结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min,在数量到达20万条以上时Hbase查询性能优于MySQL.通过MapReduce优化图像数据分块算法,存储速度得到提升.该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑.