基于Hadoop的云计算模型研究及气象应用

摘要

互联网技术的飞速发展,带来了数据量的井喷式增长,传统技术在处理这些海量数据遇到了不可避免的效率瓶颈。尤其在气象、遥感、地质灾害监测等特殊行业,能否及时、安全、高效地处理其中的海量数据,关系到人民的财产安全和社会和谐稳定。
　　云计算应运而生,其处理海量数据方面有着技术固有的优势,其中Apache Hadoop开源云计算平台正受到知名互联网公司和数据库厂商的支持;Hadoop技术正越来越受到国内外研究者们的关注,也成为海量数据处理技术研究热点。
　　本文旨在通过对Hadoop中的HDFS和MapReduce进行深入研究和探索,并结合气象灾害监测及评估系统工程开发,将Hadoop应用于基于GIS的气象实际业务系统中,并进行分析研究。
　　本文的主要工作如下:首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题。根据气象数据的特点将设计基于Trie树变形的文件合并算法。
　　在此基础上通过实验验证,数据高效率处理、安全等方面得到有效的提升和保障。其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率、数据保密安全、灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并行算法,将提出基于Hadoop的海量气象异构数据存储和处理框架。并通过实际业务中运行,将验证在并发数据处理上的效果,达到能有效降低成本和保证数据的安全的目标。
　　本文通过研究的模型与实际业务应用相结合,利用前沿的分布式技术来很好的满足项目中的需要,并将模型部署到实例当中,用实际运行结果来检验模型的实用价值。这些工作对大数据处理的研究有着重要的理论价值和实用价值。

目录

摘要

Abstract

第一章 绪论

1.1 研究背景

1.1.1 云计算

1.1.2 气象GIS平台

1.2 研究目的与意义

1.3 国内外研究现状

1.3.1 云计算研究现状

1.3.2 云计算气象应用现状

1.4 本论文研究内容

1.5 本论文组织安排

1.6 本章小结

第二章 相关技术介绍

2.1 Hadoop

2.1.1 分布式文件系统(HDFS)

2.1.2 分布式计算模型(MapReduce)

2.2 云存储

2.3 Web Service

2.4 本章小结

第三章 基于Hadoop的气象数据云存储和计算模型

3.1 基于Hadoop的气象数据云存储和计算模型

3.1.1 基于HDFS的气象数据云存储

3.1.2 基于MapReduce的气象数据计算模型

3.2 基于Hadoop的气象数据云存储的优势

3.2.1 数据组织

3.2.2 数据通信

3.2.3 数据备份

3.2.4 数据完整性校验

3.2.5 结点故障

3.2.6 数据访问控制

3.2.7 集群平衡

3.3 气象数据来源

3.4 气象数据预处理

3.4.1 气象数据的特点

3.4.2 气象数据预处理

3.4.3 Trie树

3.4.4 基于变形Trie树小文件合并算法

3.5 实验与讨论

3.5.1 实验目的

3.5.2 实验环境

3.5.3 测试用例

3.5.4 实验结果分析

3.6 本章小结

第四章 基于Hadoop的气象数据处理系统设计与实现

4.1 系统技术路线

4.1.1 总体技术路线

4.1.2 基于Hadoop平台技术路线

4.1.3 基于SuperMap GIS的技术路线

4.2 系统体系结构

4.3 系统总体框架

4.3.1 气象灾害检测预警信息发布系统

4.3.2 气象GIS平台

4.3.3 雷电灾害预警信息系统

4.4 系统功能实现

4.4.1 Hadoop集群部署

4.4.2 系统数据流

4.4.3 气象灾害检测预警信息发布系统

4.4.4 气象GIS平台

4.4.5 雷电灾害预警信息系统

4.5 运行效果分析

4.6 本章小结

第五章 总结与展望

参考文献

致谢

作者简介