基于半监督学习的恶意URL检测方法

摘要

检测恶意URL对防御网络攻击有着重要意义.针对有监督学习需要大量有标签样本这一问题,本文采用半监督学习方式训练恶意URL检测模型,减少了为数据打标签带来的成本开销.在传统半监督学习协同训练(co-training)的基础上进行了算法改进,利用专家知识与Doc2Vec两种方法预处理的数据训练两个分类器,筛选两个分类器预测结果相同且置信度高的数据打上伪标签(pseudo-labeled)后用于分类器继续学习.实验结果表明,本文方法只用0.67％ 的有标签数据即可训练出检测精确度(precision)分别达到99.42％ 和95.23％ 的两个不同类型分类器,与有监督学习性能相近,比自训练与协同训练表现更优异.