基于Hadoop的气象信息云存储系统设计与实现

摘要

气象信息存储系统主要用于省市或者全国的气象数据存储、显示、管理和检索，是气象预报工作的基础部门，也是气象部门中使用频率较高的信息化系统之一。当前，随着各大部门气象信息的数据量和气象数据种类不断高速地增长，如何高效可靠地存储、管理使用丰富的气象数据信息变得十分重要，传统的气象数据存储方式采用文件存储或者分布式关系数据库存储，这种存储方案日益无法满足用户对精细化气象预报业务的要求。
　　本文设计了一种基于Linux OS和HDFS的气象信息云存储系统，能够部署在普通服务器上，可以很容易扩大整个存储系统的处理容量，提高了数据可靠性的同时也为气象部门节约了成本。气象信息云存储系统由分布式文件系统、局域通信网络、服务器集群系统、虚拟化存储技术等构成，把分布在网络上的各种存储设备整合成为一个资源池，作为一个服务体系对外提供统一的访问接口。这样不仅可以有效整合存储资源，还可以提高存储的便捷性和资源共享。用户上传的气象文件都存储在一个海量数据存储池里面；当用户查找和下载需要的资源时，可以自由方便地从存储池中下载下来，灵活性很高。用户层采用扩展性好、架构清晰的SSH(Spring+Struts2+Hibernate）框架实现了Web访问界面，用户和管理员在不需要了解底层存储细节的情况下，也能够对气象数据进行可视化管理、检索和维护。
　　本文最终开发完成的系统优点如下：一、能够存储海量数据。系统中多台存储设备并发存取，协同工作，不仅提高了存储容量也提高了存储速度。二、系统可自由扩展。可以对访问频率较高的数据实行多副本策略，在不影响整个系统运营的下进行动态的容量扩展。三、数据存储透明化。后台数据的存储空间由Hadoop系统自动分配，用户无需考虑数据的存储方式和存储位置。四、系统的可靠性高。Hadoop使用快速恢复算法、多副本机制和校验函数来保障数据的完整性和可靠性，用户无需关心数据如何保存，或者采用什么样的格式保存，数据存储会否出错。五、费用较低。采用开源免费的Hadoop框架和普通的X86服务器，可以为气象部门大量节省经费，缓解各省市经费紧张的局面。因此本系统能够为海量气象信息的存储提供一套完整的解决方案，在气象部门将会具有广阔的应用前景。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1研究背景和意义

1.2国内外研究现状

1.3论文工作内容

1.4论文组织结构

第二章 相关技术研究

2.1 开发技术介绍

2.2 Hadoop系统结构

2.3 Hadoop设计思想

2.4 Hadoop容灾备份

第三章 系统需求分析

3.1系统现状分析

3.2系统数据分析

3.3系统用户分析

3.4系统功能分析

3.5 系统可行性分析

第四章 系统设计

4.1系统功能设计

4.2系统UML图设计

4.3系统存储结构设计

4.4系统数据库设计

第五章 系统实现

5.1存储模块实现

5.2管理员模块实现

5.3普通用户模块实现

第六章 系统测试

6.1测试平台

6.2功能测试

6.3压力测试

第七章 总结与展望

7.1总结

7.2展望

致谢

参考文献