基于大数据Spark架构的铁路货物在途时间预测并行计算设计与实现

摘要

铁路货物运到期限是评价铁路运输方式在市场中是否具有竞争力的一个重要指标，科学地估计运到期限对于提高铁路货物运输服务质量，扩大铁路运输量，提升铁路货物运输在运输市场中的竞争力具有重要的意义。铁路货物在途时间指的是铁路运输作业中完成装车作业的货物从始发站发车开始至到达终点站的时间，是货物运到期限的重要组成部分。受铁路运输过程中作业流程多，作业时间和车流径路不确定等诸多因素的影响，铁路实际生产中很难做到对货物在途时间进行实时准确的预估，预测结果的准度和精度一般较低，直接影响了铁路货物运到期限的预测精度，大大制约了铁路货物运输的市场竞争力。
　　本文以实现铁路货物在途时间的精确预测为目标，首先分析了国内外关于货物在途时间预测的研究现状，指出了现有的铁路货物在途时间计算方法存在的问题和不足，并结合铁路货物运输作业过程，着重对铁路货物在途时间预测的难点进行了分析。
　　其次，借助铁路运输信息集成平台中积累的海量历史报文数据和大量新增的实时数据，应用Agent技术，从数据处理和时间预测两个方面构建了货物在途时间预测Agent;基于OD站点间的货物在途时间历史数据集合的正态性，应用正态分布理论，构建了基于Agent的货物在途时间预测模型，设计了货物在途时间预测算法，实现了任意OD站点之间的货物在途时间的实时动态预测，并设计了一个实例对模型和算法的有效性进行了验证。
　　接着，针对提出的预测模型和算法求解时涉及的数据量大，计算难度高等特点，论文应用大数据Spark架构对构建的模型进行了并行计算设计和实现，设定了Spark架构的并行机制，重点对铁路货物在途时间预测任务的总体模块和五大基本模块的并行计算架构进行了设计和实现。
　　最后，构建了服务于铁路货物在途时间预测的大数据平台，采用面向对象的编程语言(Java)和结构化的系统开发方法，设计并开发了一个用于铁路货物在途时间动态预测的原型系统，并进行了多次实验，验证了预测模型和算法的有效性以及预测指标的实用性。

目录

声明

致谢

摘要

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 货物在途时间预测现状研究

1．2．2 并行计算现状研究

1．2．3 Spark应用现状研究

1．3 研究内容与技术路线

1．3．1 研究内容

1．3．2 研究路线

1．4 本章小结

2 铁路货物在途时间预测概述

2．1 铁路货物运输概述

2．1．1 铁路货物运输过程概述

2．1．2 铁路货物在途时间

2．2 铁路货物在途时间的计算方法

2．3 铁路货物在途时间预测的难点分析

2．4 铁路货物在途时间预测的数据基础

2．4．1 铁路运输信息集成平台

2．4．2 货物在途时间预测的数据采集

2．5 本章小结

3 基于Agent的铁路货物在途时间预测研究

3．1 货物在途时间预测的Agent设计

3．1．1 货物在途时间预测Agent的构建

3．1．2 Agent技术概述

3．2 Agent中的货物在途时间预测模型

3．2．1 货物在途时间预测的推算元数据

3．2．2 货物在途时间预测Agent

3．2．3 基于Agent的动态预测模型

3．3 货物在途时间预测算法

3．3．1 算法设计

3．3．2 数据的正态性分析

3．3．3 输出指标的选择和意义

3．3．4 算法的特点

3．4 实验与评价

3．5 本章小结

4 基于Spark架构的铁路货物在途时间预测方法设计

4．1 Spark特性分析

4．1．1 Spark的基本单元

4．1．2 Spark的流式数据处理机制

4．1．3 Spark的特点与优势

4．1．4 Spark与铁路货物在途时间预测

4．2 Spark架构的并行机制设定

4．2．1 货物在途时间预测的并行计算部署模式选择

4．2．2 货物在途时间预测的并行层级设定

4．2．3 货物在途时间预测的并行度设置

4．3 基于Spark的货物在途时间预测的并行计算设计

4．3．1 总体方案设计

4．3．2 数据输入模块

4．3．3 推算元数据获取模块

4．3．4 数据转化模块

4．3．5 在途时间预测模块

4．3．6 应用与扩展模块

4．4 本章小结

5 系统设计与实现

5．1 系统总体架构设计

5．2 系统软硬件环境设计

5．2．1 系统硬件环境配置

5．2．2 系统网络环境配置

5．2．3 软件结构设计

5．3 系统界面功能展示和预测结果分析

5．2．1 系统界面功能展示

5．2．1 预测结果分析

5．4 本章小结

6 总结与展望

6．1 主要内容总结

6．2 不足与展望

参考文献

附录

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集