基于Hadoop的矿山安全监控云平台任务调度优化方法研究

摘要

随着物联网技术应用于煤矿生产活动中，煤矿井下设置了大量的异构复杂传感器，这些传感器用于生产过程、安全环境、人员、设备等的实时监控，导致传感器采集到的监控数据呈现出指数级别的增长。为了指导安全生产，海量的煤矿安全监控数据需要进一步的挖掘和利用。传统的数据处理与存储技术已经不能满足矿山大数据的现实需求。而云计算技术具有的海量数据存储能力和分布式并行处理能力为矿山安全监控数据的存储和数据挖掘提供了强有力的技术支持。本文将Hadoop应用于煤矿安全监控系统之中，为了提高矿山海量数据挖掘的效率，从监控数据自身和云平台调度算法两个方面研究安全监控云平台的任务调度优化方法。 本文主要开展如下工作： （1）对矿山物联网、Hadoop云平台及其资源调度算法进行了综述。 （2）对煤矿安全监控系统架构进行了阐述，结合淮北矿业集团安全监控系统阐述了煤矿安全监控时间序列的采集与存储。为了提高数据挖掘的质量，需要对原始数据进行预处理。结合集团实际情况，对煤矿安全监控系统的数据采集与预处理技术进行介绍，针对经过压缩的煤矿安全监控数据，提出一种基于分段插值的数据解压缩方法，该方法对每两条数据记录的时间差进行分段，在每一段插入两条记录之间的随机值，有效地填补了缺失的数据；针对煤矿安全监控时间序列中存在的异常值等，提出了安全监控时间序列清理方法，该方法对数据中不同种类的异常值进行了清理，提高了数据质量。 （3）矿山安全监控云平台是分布式的异构云平台，而Hadoop默认调度策略的同质化假设，无法根据集群节点的综合计算能力强弱动态调整其任务份额，可能导致优势节点资源浪费、劣势节点资源吃紧的问题；而且为所有任务分配的资源是统一规格的，可能导致出现大量的碎片资源，造成异构集群下Hadoop任务调度性能下降。针对这一问题，结合异构的矿山安全监控云平台，设计了一种基于相似度分析的自适应任务调度策略，该策略可以根据作业的实时运行情况以及节点计算能力的优劣，自适应调整任务的资源份额大小。实验证明，在异构集群下，优化的调度策略能够提高作业的执行效率，缩短作业的执行时间并且提高集群资源利用率。

目录

声明

致谢

1 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 矿山物联网、云计算研究现状

1.2.2 Hadoop及其资源调度方法研究现状

1.3 论文研究思路和组织结构

1.3.1 论文的研究思路

1.3.2 论文的组织结构

1.4 小结

2 Hadoop大数据处理理论

2.1 引言

2.2 分布式文件系统HDFS

2.3 分布式并行编程模型 MapReduce

2.4资源管理系统YARN

2.4.1 Hadoop YARN的基本架构

2.4.2 Hadoop YARN工作流程

2.5 资源调度器

2.5.1 资源请求、调度与抢占

2.5.2 FIFO Scheduler

2.5.3 Capacity Scheduler

2.5.4 Fair Scheduler

2.6 小结

3 矿山安全监控数据采集与预处理技术

3.1 引言

3.2 煤矿安全监控数据的采集与存储

3.3 数据预处理

3.4 基于非线性 Delta 误差技术的煤矿实时数据压缩算法

3.5 基于分段插值法的煤矿安全监控数据解压缩算法

3.6 煤矿安全监控时间序列的清理

3.7 小结

4基于相似度检测的自适应任务调度策略

4.1 引言

4.2 异构节点监控

4.3 作业执行监控

4.3.1 作业类型监控

4.3.2 任务子阶段执行时长监控

4.3.3 作业消耗资源监控

4.4 计算能力评估

4.5 相似度检测与任务调度

4.6 小结

5 实验设计与结果分析

5.1 引言

5.2 集群的搭建与配置

5.3 实验与结果分析

5.3.1 测试作业介绍

5.3.2 作业完成时间

5.3.2 节点资源利用率

5.4 小结

6 总结与展望

6.1 总结

6.2 展望

参考文献

作者简历

学位论文原创性声明

学位论文数据集