雾霾与气象要素数据流间的关联性挖掘及应用研究

摘要

雾霾已经在气候、环境、健康、经济等方面造成显著的负面影响。雾霾的形成和演化有它自身的机理和规律，不同的地区，城市雾霾的形成原因、表现形式都不相同，如今对雾霾的科学认识仍不系统、完整，究其原因是没有对雾霾进行透彻地感知、认知和充分地分析。雾霾的演化与气象要素间有着密切的关系，由于气象部门达到了较高的信息化程度，积累了大量气象相关的数据，因此，利用数据挖掘的关联性理论方法可从中发现雾霾与气象要素间的规律，从而提高雾霾预报预测的准确率，指导人们的生产生活。
　　本文首先对数据挖掘方法在国内外的研究现状进行了汇总，并对数据挖掘在气象分析方面的应用进行深入研究，详细分析了雾霾和气象的相关知识及国内外的相关研究现状。其次，对关联规则挖掘的经典算法Apriori的相关理论、实现流程及优缺点进行了分析；对云计算的相关理论及目前较流行的大数据处理平台Spark进行了概述；对雾霾的相关知识进行了介绍，并且分析了气象要素对雾霾的影响。在此基础上，针对大数据提出了一种基于Spark的关联规则挖掘算法AMRDD（Apriori Matrix Resilient Distributed Datasets），该算法将频繁项集用矩阵表示，基于HDFS存储，利用局部剪枝和全局剪枝原理，缩减了候选频繁项集的数量，利用Spark基于内存的计算，提高了时间效率。最后，将该算法应用于雾霾与气象要素间的相关性研究。
　　构建雾霾与气象要素数据流间的关联性分析平台测试本文提出的AMRDD算法的性能及在雾霾研究方面的应用，使用3台实体机组成的局域网搭建了Spark平台，实现AMRDD算法。并分别用2013年10月到2015年10月的北京、长春、石家庄三个城市的气象资料数据集作为测试数据。实验结果表明，与传统的方法得出的结论是一致的，表明了该算法适用于雾霾与气象要素相关性方面的研究。同时，用随机生成的大数据集对算法进行了实验，AMRDD算法与传统的Apriori算法和在Hadoop上实现的Apriori算法相比，在大数据分析方面该算法时间效率明显提高。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 课题的研究背景及意义

1.2 数据挖掘研究现状

1.3 数据挖掘在气象领域的应用

1.4 本文研究目标及研究内容

1.5 本文的结构安排

第二章 关联规则挖掘与云计算

2.1 关联规则挖掘技术基本概念

2.2 典型频繁项集挖掘算法Apriori算法

2.3 垂直数据格式挖掘算法

2.4 云计算

2.5 Spark简介

2.6 国内外研究现状

2.7 本章小结

第三章 雾霾与气象要素

3.1 雾霾相关知识

3.2 源解析

3.3 气象要素对雾霾的影响

3.4 国内外研究现状

3.5 本章小结

第四章 基于Spark的AMRDD算法

4.1 引言

4.2 相关概念

4.3 AMRDD算法基本思想

4.4 算法描述

4.5 算法运行实例

4.6 本章小结

第五章 雾霾与气象要素的关联性分析

5.1 雾霾与气象要素相关性分析系统

5.2 气象数据处理流程

5.3 实验环境

5.4 实验结果分析

5.5 本章小结

第六章 结论与展望

6.1 结论

6.2 展望

致谢

参考文献

作者简介

攻读硕士学位期间研究成果