大数据下网络重叠数据优化识别仿真

摘要

对网络重叠数据的检测与排除,能够有效提高网络数据处理精度.大数据下对重叠数据的检测,需要计算数据聚类离散程度的期望,获得最佳聚类数目以确定聚类中心,完成重叠数据的检测,进而对其进行排除.传统方法结合量子滤波器,对数据点进行了一定程度的平滑,判断数据的真实度,但忽略了对数据的聚类中心的求取,导致重叠数据优化识别精度偏低.提出基于相关性分析和GAS算法的优化识别方法,将测量数据进行聚类,计算对应不同聚类数目的聚类离散程度的期望,和聚类数目对应的间隙统计量值,获得最佳聚类数目以此确定聚类中心,实现重叠数据检测;依据检测结果,对需要进行优化识别的重叠数据按照时间顺序,采用类型相同时段相同的负荷加权平均值法进行排除.实验证明,所提方法对重叠数据具有较好的优化识别效果,且提高了测量数据负荷预测的准确率.