用于网页消重的方法和系统

摘要

提供了一种用于网页消重的方法的系统。所述方法包括：通过分析网页的HTML源代码来提取所述网页的内容；获得代表所述网页的内容的字频特征串，其中所述字频特征串包括主字频特征串以及辅特征串；以及对所提取的字频特征串进行相似度计算。