基于大数据平台的货车超偏载数据分车计算研究

摘要

铁路货运超偏载监控设备在日常运行中生成并积累了大量的结构化数据,如何突破传统业务系统处理能力的限制实现对海量历史数据的分车计算是对超偏载数据挖掘的关键所在.概述货车超偏载数据分车计算,针对存在的问题,提出以大数据平台为载体,基于分布式内存计算框架实现海量超偏载数据的分车计算,经2种方案进行验证,结果充分证明分车计算方案的正确性.依托铁路数据服务平台的分布式计算架构,对海量的铁路货车超偏载检测数据进行统计分析,实现分车(运输任务去重)计算,为后续开展铁路货运分析奠定基础.