基于层次聚类方法的流量异常检测

摘要

随着大数据时代的到来,网络安全中攻击总流量大幅上升,通过异常流量检测发现网络中的恶意流量成为当前亟需解决的问题.目前工业中使用的异常流量检测设备主要采用统计分析方法或简单的机器学习方法,存在网络流量数据量巨大、冗余的正常数据量较多、精准率较低、误报率较高等问题.针对此类问题,提出了一种作用于数据处理阶段的基于层次聚类的流量异常检测方法.该方法先使用层次聚类算法达到数据约减的目的,然后基于7种不同的机器学习算法构建了基于层次聚类的异常流量模型.实验结果表明,该方法在DARPA数据集上对异常行为的检测精准率可达到99%,召回率可达到99%.同时,经过数据约减后,仍能保持90%以上的精准率,极大地提升了检测效率.