Hadoop大数据平台分布式能源数据清洗方法及系统

摘要

本发明提供了一种Hadoop大数据平台分布式能源数据清洗方法及系统，以Hadoop大数据平台为依托，利用python的科学计算库进行数据的初步探索分析，利用第三方绘图库plot画图分析数据，查找异常数据类型、缺失值、数据集规模和各特征下的数据分布情况，然后通过Hadoop大数据平台使用聚类分析填充缺失值和处理异常值，对冗余数据进行去重，实现了分布式能源数据的快速和精准清洗。