面向铁路运维的大数据流式处理技术的研究与应用

摘要

目前，我们正在处于大数据时代，在铁路运输行业也是这样。我国目前已经在高铁行业进入了世界领先的水平，掌握了许多高速列车的核心技术。在铁路的运维过程中，也已借助先进的传感器技术、数据采集设备和计算机存储设备积累了海量的运维数据。如何对这些海量的数据做分析处理，对铁路的维修维护工作具有重大的意义。面对目前铁路运维数据所呈现的大容量、多样化和积累迅速等特点，传统的数据处理方式已经较难有效处理，其弊端主要体现在耗时长，难以满足运维过程中的实时性需求。因此本论文提出了基于流式处理技术的方案，并应用于铁路运维的数据处理中，解决了目前铁路运维过程中处理大量快速增长的数据时耗时较长的问题。
　　本论文调研了当前铁路运维数据的特征，并对流式处理技术和传统处理技术的差异进行比较，提出基于流式框架的数据处理方案。在此基础上，本文实现了基于Spark Streaming框架的铁路通信光纤监测日志文件的流式处理系统，深入研究了concurrent Jobs，batchDuration等参数对处理性能的影响，并对系统进行了优化。
　　本论文主要进行了以下几个方面的工作:
　　(1)在分析了流式处理计算框架的核心技术的基础上，根据当前铁路运维过程中的数据特征和处理需求，提出了基于流式框架的解决方案。目前，铁路行业的流式数据增长迅速，然而铁路运维过程中仍采用传统的数据处理技术开展应用分析，数据处理的时效性不强。对此本文提出了基于流式处理技术的方案，解决了传统处理技术在应对大量快速增长的数据时处理时间较长的问题。实验表明流处理方式与传统的处理方式相比在时效性上有很大的提升。
　　(2)设计并实现了基于Spark Streaming的光纤监测日志数据处理系统。首先搭建了分布式流处理实验环境。然后利用流式处理框架对日志文件进行基于内存的分布式处理，提取日志文件中的关键字段并保存在数据仓库中。最后利用交互式查询工具对提取出的数据进行业务分析。
　　(3)在(2)工作的基础上，对基于Spark Streaming的流式处理系统进行了优化，提升了系统的性能。具体地，首先在架构上整合了分布式消息队列Kafka，实现了数据读入过程的并行化;接着针对Spark Streaming的concurrent Jobs，batchDuration等参数进行了优化，提升了日志数据的处理效率。
　　本文对所提出的流式处理方案进行实验验证，实验数据采用生产环境中所积累的光纤监测日志数据，分别设计不同实验并与传统的数据处理方式进行了对比。实验结果表明，本文所提出的方案能够更快速地完成日志文件的处理，并且分布式的系统架构具有很好的扩展性，系统性能随着节点数量的增加会有进一步的提升。本论文所实现的流式处理系统满足了运维中的时效性需求，能够快速地处理运维过程中积累的数据，提高了铁路运维中数据处理的效率。

目录

声明

致谢

摘要

序言

1 引言

1．1 课题研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 研究现状

1．2．1 铁路大数据研究现状

1．2．2 流式处理研究现状

1．3 本文研究内容

1．4 论文组织安排

2 理论及相关技术介绍

2．1 大数据并行处理模式

2．1．1 离线批处理计算

2．1．2 流式计算

2．2 流式处理原理和相关技术

2．2．1 流式处理技术原理

2．2．2 Spark Streaming

2．2．3 Hive和Impala

2．3 流式计算框架对比

2．4 本章小结

3 铁路运维数据处理与分析

3．1 业务背景

3．1．1 数据说明

3．1．2 需求与解决方案

3．2 数据处理与分析

3．2．1 处理环境搭建

3．2．2 传统方式处理

3．2．3 Spark Streaming处理

3．2．4 对比分析

3．3 本章小结

4 基于Spark Streaming的系统设计实现

4．1 问题分析

4．2 系统设计

4．2．1 系统架构

4．2．2 数据收集模块设计

4．2．3 数据处理模块设计

4．2．4 数据应用模块设计

4．3 系统实现

4．3．1 实现环境

4．3．2 数据收集模块实现

4．3．3 数据处理模块实现

4．3．4 数据应用模块实现

4．4 本章小结

5 基于Spark Streaming的系统优化

5．1 架构优化

5．1．1 Kafka消息队列简介

5．1．2 Kafka整合

5．2 性能优化

5．2．1 Streaming参数调优

5．2．2 结论

5．3 本章小结

6．1 工作总结

6．2 工作展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集