基于Spark和图论的电力脏数据智能动态检测方法

摘要

该文针对海量、高维电力数据中的脏数据检测存在的问题,提出了基于计算引擎(Spark)和图论的脏数据智能动态检测方法.首先,利用Simhash算法,将高维数据转换为低维二进制串(指纹);其次,设计基于图论的指纹转换策略,完成指纹在极坐标下的动态映射,并基于普聚类实现脏数据的智能识别;最后,设计基于Spark的脏数据检测策略,实现海量高维电力数据中脏数据的有效检测,并利用SCADA系统的负荷数据进行实例分析,证明了该方法具有实用性和高效性的特点,并具有良好的伸缩性和加速比.