云计算下基于贝叶斯分类的气象数据挖掘研究

摘要

随着数据库技术和计算机网络的高速发展，气象部门在日常科研和管理活动中收集积累了海量的气象信息资料。利用数据挖掘技术，分析观测到的气象信息资料，发现潜在其中的特点和规律，对于提高气象数据利用率，进一步完善气象预测有重要意义。传统的数据存储与挖掘方法在处理海量气象数据时，在性能与准确率方面均无法获得令人满意的效果。云计算带来了更高效的分布式计算与存储，它的出现为解决这一问题提供了可能。
　　本文在分析了当下气象数据存储与挖掘存在的问题，发掘海量气象数据实际存储的需求，给出了云计算环境下的海量气象数据存储与挖掘方案。针对传统数据库存储海量气象数据能力不足的问题，研究与设计基于Hadoop分布式文件存储系统与数据仓库工具Hive的气象数据中心，并通过实验验证了本文数据中心在处理海量气象数据方面存在明显的优势，能够满足业务部门的查询统计需求。
　　在此数据中心的基础上，本文给出了Hadoop平台下基于贝叶斯分类的海量气象数据挖掘方案。整个挖掘过程主要分为数据离散化、数据约减、数据分类三个步骤，论文在分析了MapReduce计算模型与粗糙集、贝叶斯分类的基础上，结合气象数据特点，给出了基于MapReduce的计算等价类的数据约简算法与朴素贝叶斯分类算法，最后利用气象日值数据以降雨量为决策属性进行了实验，实验从分类准确率与算法加速比两个方面对分类器的精度与效率进行了测试，通过实验可以证明本文的分布式海量气象数据挖掘方案在分类精度与效率方面较传统朴素贝叶斯分类均有一定提高。
　　本课题所研究的基于Hadoop平台的海量气象数据存储与挖掘方案，在一定程度上解决了传统的数据存储与挖掘方法在处理海量气象数据时能力不足的问题，并且成本较低，易于扩展，可以作为一种辅助性手段应用于日常的气象数据分析的工作中。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引 言

1.1 研究背景及选题意义

1.2 国内外研究现状综述

1.3 论文的主要工作

1.4论文组织结构

第二章 相关技术与理论概述

2.1 Hadoop相关技术概述

2.2算法理论概述

第三章 基于Hadoop的气象数据存储方案

3.1海量气象数据管理面临的主要问题

3.2数据中心层次结构

3.3数据中心数据流程

3.4气象数据表建立

3.5 实验结果

第四章 Hadoop下气象数据挖掘实现

4.1数据预处理

4.2基于MapReduce的粗糙集约减算法

4.3基于MapReduce的Native Bayes分类算法

4.4算法实例分析

第五章 实验方案和结果分析

5.1 实验环境和数据

5.2 实验结果与分析

第六章 总结和展望

6.1论文总结

6.2工作展望

参考文献

致谢

攻读硕士学位期间发表学术论文情况