一种基于HIVE的天然气管道数据处理方法及数据仓库系统

摘要

本发明涉及一种基于HIVE的天然气管道数据处理方法及数据仓库系统，包括天然气管道系统数据源的确定、多源数据的处理与融合、数据仓库的集成及需求数据的挖掘五个步骤。本发明通过确定天然气管道系统数据源及元数据、获取目标数据维度的多源异构数据，转换待处理数据源下的相关字段合成得到目标数据维度的多源异构标准数据。最后建立数据仓库，并基于所建数据仓库按照需求提取包括天然气管道运行压力及流量、压缩机进出口压力、压比等所需要的数据。本发明能从海量数据中轻松提取有用数据信息，简化了传统数据的提取流程，实现了对管道系统运行数据的高效利用，为分析天然气管道系统运行状态提供了技术支持。