基于大数据的列车运行监控装置数据的分析系统和方法

摘要

本发明公开了一种基于大数据的列车运行监控装置数据的分析系统和方法，实现了LKJ装置的运行记录历史数据集中存储、数据格式化规范化处理，可以对海量的LKJ装置数据进行分析。其技术方案为：基于Hadoop生态圈建立大数据平台，实现LKJ装置的运行记录历史数据的集中存储、数据格式化规范化处理，数据最后存储在HBase分布式数据库中。再利用Map/Reduce对HBase分布式数据库中存储的大量相关联的LKJ运行数据进行分布式运算处理，完成海量LKJ数据的分析，将分析结果作为中间数据保存在HBase中。再把一部分关联数据以及分析得出的中间结果，通过ETL再加载到分布式数据仓库Hive中，从而分享给所有数据集市使用。