多模型融合的海量网络流量并行异常检测方法

摘要

传统网络流量异常检测方法受数据规模、处理能力的限制,存在准确率低、实时监测困难等问题,为此提出一种基于多模型融合的流式并行异常检测方法。首先,对多个单一模型进行训练并融合,然后利用分布式架构实现融合模型的流式并行计算;其次,对识别结果进行验证,从而建立异常流量黑名单,利用黑名单对实时网络流量进行精准的匹配检测;最后,基于Hadoop大数据平台,采用KDD CUP99作为实例数据集进行实验,实验结果表明,与典型的异常检测方法相比,该方法能够实现实时流数据的异常检测,提高了检测准确率和计算效率。