一种基于改进的DBSCAN算法的网页去重方法

摘要

本发明属于计算机领域，尤其涉及一种基于改进的DBSCAN算法的网页去重方法，该方法包括：实时获取网站数据，将获取的网站数据输入到训练好的网页去重算法模型中，根据训练结果对网站数据集中数据进行重复数据剔除，得到后续要进行漏洞扫描的数据集；所述网页去重算法模型通过改进的人工蜂群算法寻找最优参数，采用最优参数替换DBSCAN算法的两个参数，采用邻近搜索策略对DBSCAN算法的核心点选取过程进行改进，得到网页去重算法模型；本发明利用改进的人工蜂群算法对构建好的人工数据集进行最优参数选择，再将找到的最优参数用于DBSCAN算法的参数设置，提高了DBSCAN算法的聚类效果。