基于Hadoop的气象大数据分析GIS平台设计与试验

摘要

针对海量气象数据在传统WebGIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据.在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策.最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响.试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统WebGIS平台数据存储与计算的局限性问题.