基于Hadoop的油气信息分布式数据仓库的探究

摘要

油气田企业数据来源广泛,油气钻井作业分布在广阔的地区,因此数据量大而且种类相当复杂,进入数据爆炸时代,各种异构数据爆炸性增长,其中不仅包含很多内部信息,还包括很多有价值的外部信息,传统的关系型数据仓库只擅长处理结构数据,而且扩展能力差,导致新的异构数据难以被利用,这些已经不能满足新时期用户对数据管理的要求.基于Hadoop的油气信息分布式数据仓库运用HDFS存储各类同构或异构数据,通过Hive和HBase对海量异构数据进行管理,并且可以通过Sqoop工具与关系型数据库进行数据交换,最重要的是能够运行在廉价的机群上,不仅降低了成本,还具有更好的扩展性,而且实现对各类数据的充分利用,提高钻井决策的准确性.