基于大数据的铁路信号系统数据存储与分析系统设计与实现

摘要

文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统.首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型.然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API.最后,利用ExtJS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作.