基于大数据技术的异常网络流量分析

摘要

本节采用真实数据对网络流量实时监测系统进行了功能性测试，并得到系统输出结果。接着分析了网络流量实时监测系统的结果，计算了TopN模块的结果的覆盖率，对异常检测模块的检测结果与真实的流量进行了对比。然后根据各个模块不同的输出结果，对检测出来的异常流量进行了深入的分析，获知了产生异常流量的原因。进一步在实际流量检测中得到了网络流量异常的具体情况。根据网络流量时间连续的特性和实时处理的需要，本次研究学习了两种现阶段外界流行的海量数据处理系统：Flume-ng日志采集系统、Storm流式处理平台和HBase分布式存储系统，设计与实现了网络流量实时监测系统，将此系统用于异常流量的实时监测，获得了良好的实验效果互联网尤其是移动互联网目前正在高速发展，其前景十分的广阔，移动互联网相关的流量检测与分析也十分的重要。本文重点研究了通过流式分布式系统Storm来完成网络流量异常分析，希望本文的研究内容与研究结果能够为其他相关工作者提供一个参考。