基于电力行业数据清洗转换的过程方法分析

摘要

随着信息化建设逐步发展,国家电网公司已陆续推出了大数据平台、运营监测、全业务数据中心等信息化项目,通过这些信息化项目建设,落实对数据资产的分析、挖掘和利用.而此类信息项目实施必然涉及大量数据操作,并且源头数据存储类型各有不同.将这些来源不同、类型不同的数据归集到一起,并且在巨大体量的数据体中挑拣出有用的部分,成为数据发挥效用的第一步.因此,公司提出了数据归集、清洗、转换的工作理念和方法,通过数据清洗转换规范数据归集操作,压缩数据归集到挖掘分析的工作周期,提升大数据应用效率.本文以国家电网数据归集过程为例,阐述数据清洗转换的过程以及过程中遇到的问题和解决方法。