状态监测大数据存储及聚类划分研究

摘要

随着输变电设备状态监测的广度和深度不断加强,收集的监测数据越来越多,逐渐形成了智能电网状态监测大数据。然而,如何有效的存储和分析状态监测大数据是大数据在状态监测领域应用的关键问题之一。基于云计算平台并考虑状态监测数据的特点,将监测数据海量小文件组合成大的序列文件,并压缩存储,从而提高存储和处理效率。针对状态监测大数据价值密度低的特点,首先利用分形理论对监测数据降维处理,提取时域和频域特征量,并使用密度聚类算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)对样本数据聚类划分,提取不同聚类的特征数据;然后结合云平台的数据处理能力设计MapReduce并行算法,实现状态监测大数据的聚类划分,从而有助于从大数据中发现有价值的特征量;最后,利用大数据聚类结果更新和丰富样本特征数据。实验结果表明该方法可以有效存储状态监测大数据并对其聚类划分,对提高设备的状态评估及故障诊断水平具有一定辅助作用。