基于分布式计算和规则引擎的大数据作业异常监控系统

摘要

本发明公开了一种基于分布式计算和规则引擎的大数据作业异常监控系统，所述系统通过日志采集系统，通过从大数据作业平台中获得分布式消息队列获得待分析日志；从预设安全策略库中获得与待分析日志的日志类别对应的目标安全策略；根据预设平台异常行为特征和目标安全策略对待分析日志进行审计和聚合分析；根据目标分析结果确定是否告警，并将目标分析结果进行存储，能够对用户提交作业、日志及访问数据等行为进行监控审计，提高对异常行为数据进行针对性的分析，根据对应的安全策略对异常行为数据进行相应的处理，能够实现对大数据平台上的异常行为数据进行快速发现和响应，保证了大数据平台数据的安全性和稳定性，提高了用户使用体验。