基于流数据聚类算法的电力大数据流异常检测

摘要

本发明属于电力大数据异常检测技术领域，公开了一种基于机器学习的流式K‑means聚类算法。本方法，首先通过Redis集群进行电力流数据的缓存及处理，然后使用基于最佳距离法的K‑means聚类算法从Redis集群中存取数据进行聚类分析。具体为：1)对电力大数据进行预处理，得到有效的训练样本和测试样本；2)使用Redis集群对样本数据进行在线缓存处理；3)使用K‑means算法进行数据的存取及聚类分析；4)使用测试样本，对模型的性能进行分析。本发明从数据的安全性、完整性以及流数据聚类算法的低时间复杂度的角度出发，改善了传统流数据聚类算法断电易丢失数据、不能存储全部数据等缺陷，使该算法能够应用于一些对数据敏感的应用。