一种基于Storm及Hadoop的海量日志安全分析系统

摘要

针对海量日志流安全分析的问题,设计一种海量日志安全分析系统.该系统将开源框架Storm与Hadoop进行整合,通过正则表达联动检测机制和基于FP-Growth算法的离线关联分析来探测日志流中的网络安全事件,实现识别安全事件无需人工干预.实验结果表明,该系统对各类网络安全事件具有较好的识别效果.