基于实时关联分析算法及CEP的大数据安全分析模块研究与实现

摘要

从海量安全日志中发现威胁,提取有效安全事件,生成安全告警供相关人员处置是企业内大数据安全管理平台的研究热点。在传统的大数据安全管理平台中,安全事件由安全分析人员人工研判,在数据关联分析的实时性、准确性及个性化分析方面有所欠缺,同时还存在交互性弱的问题。为了完善及解决这些问题,文章设计并实现了基于复杂事件处理的大数据安全关联分析模型,将大数据安全关联分析处理过程按阶段性任务分解,不同任务继续分解为子任务,不同任务在不同的引擎或模块中协作完成安全关联分析任务。在Storm平台辅助Esper引擎实现所设计模型,产生安全事件告警。将模型投入生产环境使用,该模型从连续高速的数据流中自动化、高效分析事件产生告警且性能稳定。在海量数据实时安全关联分析中采用该模型,不仅能应对高速数据流,还能基于复杂事件处理分析事件之间的关联,监控企业内大数据安全。