基于Hadoop的地理国情监测高性能计算分析研究

摘要

随着常态化地理国情监测在我国的全面开展,地理国情时空数据规模不断增大,使得对地理国情数据综合分析和信息挖掘的要求越来越高。本文针对传统空间数据存储和分析平台存在的性能瓶颈问题,提出了一种基于Hadoop的地理国情高性能计算框架,论述了通过服务封装实现分布式并行计算能力与成熟平台地理空间分析能力的无缝聚合实现最优化地理国情分析计算的理念,并以地理国情地表覆盖面积统计为例,探讨了分布式计算技术在地理国情海量数据分析方面的适用性。结果表明,随着数据量的增加,分布式计算集群的性能优势逐渐凸显,比传统集中式空间数据库更适合于海量数据的分析计算,而集群的良好横向拓展性,也为大规模地理国情空间数据分析提供了可行解决方案,研究结果将为进一步构建开放性地理国情分析服务平台奠定基础。