一种网络爬虫去重特征值的提取方法和装置

摘要

本发明公开了一种网络爬虫去重特征值的提取方法，包括：步骤一，根据目标网站的统一资源定位符URL域名和URL种子特征生成正则表达式；步骤二，从目标网站的URL地址中捕获与所述正则表达式匹配的字符串；步骤三，对所述字符串进行预定的格式转换，得到所述URL地址的去重特征值。本发明还提供一种网络爬虫去重特征值的提取装置。本发明适用于对不同URL链接指向相同页面的情况实现去重。