基于模糊聚类算法的高维大数据增量处理方法

摘要

现有高维数据增量处理方法由于没有完全抵消类间中心点的相互排斥,导致处理增量数据的缓冲有效比较低,为此,提出了基于模糊聚类算法的高维大数据增量处理方法。利用时间窗口构建了可变增量数据抽取模型,针对抽取数据采用最大相关最小冗余的特征选择方法,过滤增量数据;基于模糊聚类算法抵消类间节点的相互排斥,通过优化中心聚类节点完成对增量数据的聚类处理。测试结果表明,所提算法的数据处理速度差异性较小,当增量变化比小于8%时,三种方法的缓冲有效比P之间的差异性较小;当增量变化比为20%和42%时,所提方法的P值比其他两组方法分别高了6.28%、8.4%和13.61%、14.67%。可见所提方法利用模糊聚类算法,更好地消除了类间中心点相互排斥的问题。