基于MapReduce的PCA异常流量检测系统实现

摘要

PCA是一种在高维空间中检测网络异常流量的有效方法,它可以从全局角度对网络流量数据进行分析,检测网络中隐藏的异常.在面对运营商全网流量数据时,如何快速从海量的Netflow流量数据中生成统计矩阵供PCA检测分析,是PCA异常流量检测方法面临的最大困难之一.MapReduce是随着云计算兴起的一项分布式计算方法,它充分利用计算机集群的处理能力,能有效应对海量数据分析任务.本文提出了一种有效的机制,将MapReduce分布式计算方法应用在PCA异常流量检测中.结果表明,MapReduce方法极大地提高了PCA异常流量检测方法的处理性能,使得PCA异常流量检测能有效处理运营商全网数据.