基于卷积神经网络的恶意网页URL检测研究

摘要

近年来，随着互联网的发展，网上银行、电子商务和社交网络等网络应用业务迅速增长。与此同时，各种恶意网页也不断涌现，例如销售假冒商品的山寨网页、盗取用户金钱或个人信息的钓鱼网页以及重打包了恶意代码的驱动程序下载网页等。这些恶意网页通过各种手段诱骗用户点击URL链接，以实施恶意行为。仅通过检测恶意网页URL来识别恶意网页，可避开在检测网页内容或行为时遇到的内容多变和行为难跟踪等问题。因此，如何有效地检测恶意网页URL，已成为互联网安全领域的一个重要研究问题。 本文分析了现有的恶意网页URL检测技术的局限性：（1）现有技术所采用的数据集各不相同，且存在规模较小或未公开的问题。（2）基于传统机器学习或规则匹配算法的恶意URL检测技术需要人工定义检测的特征或规则，且未能提取特征的上下文关系。（3）基于URL词汇特征的检测技术在检测效果上有待提升，而且在验证检测效果时采用的检测指标不够充分。 为克服现有的基于词汇特征的恶意网页URL检测技术的局限性，本文实现了一种基于深度学习的恶意网页URL检测技术。本文将恶意网页URL的检测问题转换为网页URL文本的分类问题，提取URL的词汇特征，并使用卷积神经网络来构建URL的分类器。本文建立并公开了一个包含122331条网页URL的数据集，以用于本文恶意网页URL检测模型的训练和验证。本文进而在上述URL数据集上进行实验研究，并使用多种标准的分类指标来评估检测模型的检测效果。 本论文的主要贡献包括：（1）创建了一个较大规模的、对应多种类型恶意网页的URL数据集，可用于公开验证各种恶意网页URL的检测技术。（2）使用CNN实现了一个基于词汇特征的恶意网页URL的检测技术。（3）通过实验研究了本文所构建的检测模型的效果。与现有的仅基于词汇特征的恶意网页URL检测技术相比，本文所提出的恶意网页URL的检测技术在检测的精确率、召回率、误报率和漏报率上具有较好的效果，而且技术的实现更简单。

目录

声明

第一章 绪论

1.1 研究背景与意义

1.2 相关研究的现状

1.3 研究内容

1.4 主要贡献

1.5 论文组织

第二章 基础知识

2.1 恶意网页与URL

2.2 机器学习算法

2.3 深度学习理论

2.4 Python工具库

2.5 本章小结

第三章 恶意网页URL检测技术的分析

3.1 恶意网页URL检测技术的特点

3.2 现有的恶意网页URL检测技术的局限性

3.3 基于深度学习的恶意网页URL检测的思路

3.4 本章小结

第四章 基于卷积神经网络的恶意网页URL检测模型

4.1 构建模型的流程

4.2 构建模型的步骤

4.3 本章小结

第五章 实验研究与结果分析

5.1 研究问题

5.2 实验设置

5.3 本文检测模型的参数调整

5.4 本文检测模型的效果

5.5 本文模型与URLCNN的对比

5.6 与基于机器学习检测模型的对比

5.7 本章小结

第六章 总结与展望

6.1 论文工作总结

6.2 未来工作展望

参考文献

致谢