基于Hadoop平台的铁路车流运行径路获取与预测模型及算法研究

摘要

近年来铁路总公司积极推进货物运输改革，努力提高铁路货运服务水平，加强铁路物流化建设，力求扩大铁路运输在货物运输市场中的份额。但是目前铁路货运中最突出的问题是货物运输的时间具有很大的不确定性，大大制约了铁路运输的竞争力。虽然铁路部门制定了铁路货物运到期限，但是货物运输时间仍会受到车流集结、车流改编等运输作业的影响，因此铁路部门需要加强对车流的有效掌控，提升运输组织效率。而准确的车流预测可以实现对车流分布的有效掌控，可以及时避免车流拥堵的发生，保证路网的运输效率。车流预测的基础是车流径路，确定合理的车流径路，对于准确地进行车流预测、高效地进行运输组织具有重要作用。
　　本文以确定合理的车流径路为研究目标，借助铁路运输信息集成平台提供的各业务系统整合的数据，构建车流运行径路获取模型来获取车流运行过程中的真实走行径路，并利用Hadoop平台处理车流运行径路大数据集，对车流经由的每个车站构建针对不同货种的车流运行径路模式和概率后缀树，并在车流预测系统中进行验证。具体工作如下:
　　(1)对反映车流实际走行情况的车流运行径路进行研究，借助铁路运输信息集成平台获取经过整合和共享的铁路业务数据，建立径路节点映射模型、车辆报文匹配模型、径路序列拼接模型来获取完整的车流运行径路。
　　(2)考虑到铁路车流运行径路的数据量会随着时间的累积不断增大，传统数据分析方法不能实现对不断增加的海量数据的有效分析，本文设计大数据分析方法利用Hadoop平台来处理车流运行径路数据，利用Sqoop工具实现传统关系型数据库与分布式文件系统HDFS之间的数据传输，利用MapReduce编程模型高效处理车流运行径路大数据集，利用变阶马尔科夫模型对车流运行径路的径路序列进行处理，建立运行径路模式并构建概率后缀树，用以预测车流运行径路。
　　(3)利用Java编程实现基于运输信息集成平台的车流运行径路获取过程，搭建Hadoop平台进行MapReduce编程开发来处理车流径路大数据，并实现车流运行径路模式提取和概率后缀树的构建，以不同货种、不同径路模式预测车流运行径路，并在车流预测系统中进行验证。

目录

声明

致谢

摘要

1．1 论文研究背景及意义

1．2 国内外研究现状

1．2．1 车流径路计算与优化方法研究

1．2．2 大数据与云计算架构及应用研究

1．2．3 序列建模与应用研究

1．3 研究内容及技术路线

1．3．1 研究内容

1．3．2 技术路线

2 铁路车流径路既有理论

2．1 铁路车流径路概述

2．1．2 车流径路的特点

2．2 车流径路与计费径路

2．3 车流径路的确定

2．3．1 理论计算法

2．3．2 生产计算法

2．4 车流径路与车流预测

2．5 本章小结

3 铁路车流运行径路的获取

3．1 车流运行径路

3．2 铁路运输信息集成平台

3．3 车流运行径路获取模型

3．3．1 径路节点映射模型

3．3．2 车辆报文匹配模型

3．3．3 径路序列拼接模型

3．4 车流运行径路获取算法

3．4．1 表结构设计

3．4．2 算法流程设计

3．5 本章小结

4 基于Hadoop的车流运行径路挖掘分析

4．1 大数据方法处理车流运行径路问题

4．1．1 Hadoop平台

4．1．2 HDFS模块

4．1．3 MapReduce编程模型

4．2 车流运行径路的处理架构设计

4．2．1 Hadoop集群节点布局与划分

4．2．2 Sqoop导入数据到HDFS

4．2．3 Map阶段任务配置与分发

4．2．4 Reduce阶段任务合并与数据存储

4．2．5 Sqoop导出数据到关系数据库

4．3 车流运行径路模式生成及径路预测

4．3．1 变阶马尔科夫模型

4．3．2 概率后缀树的构建

4．3．3 基于概率后缀树的径路预测

4．4 本章小结

5 算法实现与实例分析

5．1．2 系统运行软件环境

5．1．3 系统软件开发环境

5．2 运行径路数据获取

5．2．1 数据清洗处理

5．2．2 报文匹配处理

5．2．3 车次拼接处理

5．3 概率后缀树的构建

5．3．1 Sqoop工具实现数据导入

5．3．2 MapReduce程序实现

5．3．3 Sqoop工具实现数据导出

5．3．4 构建概率后缀树

5．4 运行径路的预测及应用

5．5 本章小结

6．1 论文主要内容总结

6．2 论文的不足与展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集