基于Hadoop的煤矿设备数据规范化和清洗的研究

摘要

随着网络信息化技术快速发展和煤矿机械设备日趋大型化、复杂化，煤矿设备的运行数据规模不断地扩展，数据量从GB级迈向TB级甚至PB级，而且数据的差异性也越来越大。对于这种煤矿设备的海量异构数据，传统的数据分析处理系统已经不能满足数据处理和深度挖掘的需求，云计算技术可以高效地实现对这些问题处理。
　　针对现有煤矿机械设备系统的实际情况和需求，分析云计算技术在工业化生产中广泛有效的应用，建立了基于Hadoop平台的煤矿设备数据处理系统，利用平台的海量存储HDFS和分布式计算Mapreduce技术，实现对这些海量级数据的处理、分析和深度挖掘。
　　首先，针对煤矿设备海量异构格式的数据需要规范化描述问题，设计了用XML数据格式做为多样化海量数据的一种应用标准，分析元数据抽取和关系—映射模型技术，实现对煤矿设备异构数据的规范化描述。其次，在实验室环境下搭建了 Linux集群和Hadoop集群的平台，建立基于Hadoop的煤矿设备系统数据处理系统，并对平台所用到HDFS技术和分布式计算Mapreduce技术进行了详细分析，实现对煤矿设备数据的海量存储和高效计算。最后，在Hadoop平台上建立对煤矿设备振动数据进行特征值提取和异常点清洗的整体架构，并提出了相应的Mapreduce算法，可以有效地实现对煤矿机械设备振动数据的处理。
　　通过利用该系统平台对设备数据进行HDFS的读写和Mapreduce处理等性能测试，结果表明，Hadoop平台系统能够正常高效运行。因此，基于Hadoop的煤矿设备数据处理系统能够为煤矿设备维护提供很好的技术支持。

目录

中文摘要

英文摘要

目录

1绪论

1.1课题研究背景及意义

1.2国内外的研究现状及发展趋势

1.3研究内容和技术路线

2基于Hadoop的煤矿设备数据处理系统总体方案设计

2.1系统需求分析

2.2系统整体架构设计

2.3模块分析

2.4 本章小结

3煤矿设备数据规范化描述

3.1 XML和元数据

3.2数据描述架构

3.3数据描述分析

3.4数据描述实验验证

3.5本章小结

4基于Hadoop的煤矿设备数据清洗

4.1开发环境的介绍

4.2开发环境的搭建

4.3煤矿设备数据清洗架构的设计

4.4基于Hadoop的数据特征值提取的设计和实现

4.5基于Hadoop的数据清洗处理的设计和实现

4.6本章小结

5系统实验

5.1.HDFS读写文件速度的测试

5.2.MapReduce计算速度的测试

5.3实验结论

5.4本章小结

6 结论与展望

6.1结论

6.2展望

致谢

参考文献

附录