分布式气象大数据快显技术的设计与实现

摘要

随着气象数据不断迈向海量的大数据范畴,原有省级CIMISS已不能满足实际需求。为了解决系统实时查询性能低下、动态扩展能力不足等问题,基于GBase、MySQL、MongoDB、HBase等不同的数据库,针对不同的气象数据特征进行分库存储,构建大数据分布式存储数据中心,并利用并行计算技术针对数据服务显示功能进行增速。实践证明,该方案不但能与CIMISS无缝衔接,而且还极大提升数据的查询显示速度,且并发响应能力强,时间跨度越大查询优势则越明显。与CIMISS相比,整体系统查询速度平均提升了860%,能够有效地满足气象业务和科研的服务需求。