基于Hadoop+Jstorm+zookeeper的自然灾害气象数据仓库构建技术研究

摘要

天气是人们出行、耕作、活动等最关心的事情,好的天气往往给人们带来好的心情.在古代,古人只能依照一些距离相对较近的事物作为参照物以预测当天的天气,没有工具可以直接预测出接下来天气的走向,而且这样得出的结果不够清晰.而科技发达的今天,我们可以借助多种工具来获取天气数据:专业人员通过气象采集仪器从地面上或者海上,采集当时地点的气压、温度、湿度、风速等,并且这些测量每小时一次(METAR)或者每六小时一次(SYNOP),然后根据公式计算出当时的天气如何,并且预测接下来几个小时内的天气变化情况;或者通过气象卫星从高空中拍摄高空气流、云层的变化作为天气数据存储,经过专业人员分析后得出结果.通过两者的结合,得出的结果是最为详细、最为接近真实的数据.但是这也带来了一系列的问题:每隔一或六个小时进行一次采集,这就带来了气象数据的数据量很大;数据是从多种设备上收集来的,所以其数据类型较多;对于历史数据的处理是应该删除还是保留,以减轻数据库压力.为了解决这些问题,本论文将使用数据仓库技术对气象数据流的处理和存储问题进行研究.