基于无障碍检测结果去重的爬虫搜索方法

摘要

一种基于无障碍检测结果去重的爬虫搜索方法，预先设置好需要爬取的页面总数，循环地从URL队列中获取链接，访问链接获取网页源代码；再对网页源代码中选取的规则子集进行检测，将检测结果合并成特征矩阵；当从一个网页中提取的所有链接都被访问完毕后，对所有链接到的页面获取的矩阵运用DBSCAN算法进行聚类；对聚类后每一簇的结果进行随机抽样作为这一簇的代表页面，从中抽取链接加入URL队列，一簇中其他的网页由于无障碍检测结果和代表页面相似，因此其中的子链接都被标记为“跳过”，并不实际爬取页面而是直接增加爬取页面的计数；本发明用于网站页面用户友好程度自动化检测中的网页链接爬取阶段，通过控制爬取页面数量加快爬取进度，加快检测效率。