非平衡数据分类方法及其在恶意网址检测中的应用

摘要

非平衡数据的分类方法是机器学习和模式识别领域的一个热点问题，在入侵检测、医疗诊断、欺诈检测等方面具有广泛的应用。非平衡数据集分类问题是指数据集的类分布存在明显的倾斜性，而传统的分类方法和模型更倾向于多数类。在实际应用如恶意网址检测中，少数类应该获得更多的关注，因此非平衡数据分类问题获得了广泛的研究。
　　本文对非平衡数据分类的方法进行了研究，并在恶意网址检测中进行了应用，实现了恶意网址检测系统，具体研究工作如下：
　　（1）利用基于树模型的特征选择方法，对数据集进行降维处理；然后针对数据集类间不平衡问题，利用了经典的SMOTE采样方法进行重采样；在重采样的数据集上使用决策树、支持向量机和随机森林进行分类，实验结果表明了基于特征选择的SMOTE算法的有效性。
　　（2）针对恶意网址URL数据集，将网址URL特征分为主机特征和词汇特征，应用基于特征选择的SMOTE方法进行数据预处理，并用决策树、支持向量机和随机森林进行分类。实验结果表明在预处理的数据集上，支持向量机具有较好的分类效果。
　　（3）实现了恶意网址检测系统，该系统利用已训练的支持向量机分类器对待测试网址URL进行检测，判断其是否为恶意网址。
　　总之，本文对基于特征选择的SMOTE方法进行了研究，并在恶意网址检测中进行了应用。如何对恶意网址检测系统的功能进行完善是本文进一步的工作。

目录

第一章 绪论

1.1论文研究目的及意义

1.2现有的恶意网址检测技术

1.3非平衡数据分类问题

1.4论文的研究内容与组织结构

第二章 分类算法概述

2.1常用分类算法

2.2非平衡分类算法的评估

2.3本章小结

第三章 基于特征选择的SMOTE方法

3.1网址URL特征提取

3.2 SMOTE方法

3.3基于特征选择的SMOTE方法

3.4实验结果与分析

3.5本章小结

第四章 非平衡数据分类方法在恶意网址检测中的应用

4.1实验环境

4.2数据集介绍

4.3实验结果与分析

4.4系统实现

4.5本章小结

第五章 总结与展望

5.1本文工作总结

5.2进一步研究

参考文献

攻读学位期间取得的研究成果

致谢

个人简况及联系方式

声明