海量气象结构化数据分布式存储测试

摘要

随着气象事业的快速发展,气象结构化数据的种类越来越丰富,存储总量急剧增加,传统集中式数据管理方式越来越不满足数据存储与服务需求,需要采用新技术新方法解决目前面临的问题,快速发展与日益成熟的大数据技术为我们提供了解决思路.针对结构化资料,在分布式关系型数据库中开展了仿真气象业务场景的测试,测试结果表明分布式数据库在气象业务中具有很多优势:(1)具有较高的性能,在相同数据背景中,数据插入性能高于集中式数据库2.5 倍以上,数据检索性能提高10 倍以上;(2)具有高可靠性,在有冗余副本时,任意节点故障不影响气象业务使用;(3)灵活性和可扩展性,节点数量与性能呈准线性增长,可随时增加节点提高性能;(4)节约硬件成本.测试表明分布式关系型数据库存储、管理海量气象结构化数据是一个行之有效的手段.