基于全球典型油气田数据库的数据挖掘预处理

摘要

石油工业早已进入大数据时代,数据挖掘是充分利用数据资产价值的有效途径,而数据预处理是数据挖掘研究的热点之一.分析了数据挖掘以及数据预处理的意义及其现状,提出了在石油工业进行数据挖掘的基本思路;以某国际石油勘探开发技术服务与咨询公司研制的全球典型油气田数据库为例,以"采收率"为挖掘对象,详细解析了各种常用的数据挖掘预处理方法和具体做法,主要包括数据获取、属性选择、数据清理、数据集成、数据变换、数据规约和数据消密;提出了源数据的"5C"标准,即Correctness(正确性)、Currency(适时性)、Completeness(完整性)、Consistency(一致性)、Confidentiality(保密性).研究成果可为石油行业开展数据预处理等工作提供参考.