一种大数据环境下用户异常行为检测分析方法

摘要

本发明涉及一种大数据环境下用户异常行为检测分析方法。其特点是，包括如下步骤：根据HDFS中历史一个统计周期内用户的日志记录，用户异常行为检测系统利用机器学习通过离线方式对用户访问行为进行异常分析，建立用户行为模型；基于Storm中当前实时用户操作行为，用户异常行为检测系统在线比较实时行为和历史行为的差异；若上述二者差异较大，则向Kaffka发送安全预警信息并在Stream界面中展示，否则，判断该行为是合规的安全行为。与现有技术相比，本发明通过机器学习算法支持根据用户在Hadoop平台上历史使用行为习惯来定义行为模式或用户画像的能力。默认该训练系统以每月的频率更新模型，模型粒度为一分钟。