恶意URL近实时检测分析近实时检测分析

摘要

互联网逐步融入人们日常生活的各个领域,基于URL的窃取用户信息及互联网金融账户等恶意URL开始成为了一大安全隐患,已有的传统基于黑名单的恶意URL的检测方法,不能解决海量网络流数据中恶意URL的检测问题,使用离线机器学习的检测恶意URL方式的时效性不强,不能很好地及时对恶意URL进行检测.本文采用在线学习算法训练恶意URL检测模型,充分利用了在线学习算法的模型更新效率高、以及可以利用有限的计算机资源实现对无界数据处理的特点,结合流式计算框架实现了对恶意URL的近实时检测系统的设计.本文通过对恶意URL的特征提取,并通过流式计算框架,实现了对URL数据的近实时收集,并通过在线学习算法自适应权重调整算法(Adaptive Regularzaton of Weights),实现了对恶意URL的检测.本文给出了大规模恶意URL近实时检测系统的架构,以及检测流程的介绍,并通过检索引擎Elasticsearch实现了海量网络流数据的检索分析.最后通过实际验证,表明该系统可以有效地实现对海量恶意URL近实时的检测,对于海量网络流数据中恶意URL的近实时检测,以及及时对检测出的恶意URL进行控制,在安全研究方面具有较大的应用意义.