基于大数据技术的网络异常行为分析监测系统

摘要

本文提出了一种基于大数据的技术来识别网络异常行为的方法,并基于该理论方法设计实现了一个网络异常行为分析监测系统。本文详细描述了系统的总体架构设计、各模块详细设计及异常入侵行为发现方法原理。本系统涉及的核心技术模块包括数据采集与预处理模块、实时流量监测模块、大数据关联分析异常检测模块、访问行为基线机器学习模块、综合管理与展示模块。本文使用的异常识别方法首先通过网络流量前端数据采集与预处理模块采集并还原网络流量数据、通过syslog收集安全设备告警数据、通过漏洞扫描工具采集系统和应用的漏洞数据,再将多种数据源采集的数据进行融合和关联分析,利用机器学习技术形成网络边界访问、业务系统访问、网站访问正常行为基线,再结合基线与实时流量和网络安全事件的实时对比关联分析识别网络入侵行为。系统使用的主要技术有：基于Spark streaming的实时大数据关联分析技术,基于Spark MLlib的离线挖掘分析技术,基于kafka的数据总线技术,基于Spring MVC的Web应用技术,基于html5、css、js的前端展示技术。