基于网页文本结构的网页去重

摘要

搜索引擎返回的重复网页不但浪费了存储资源,而且加重了用户浏览的负担.针对网页重复的特征和网页文本自身的特点,提出了一种动态的网页去重方法.该方法通过将网页的正文表示成目录结构树的形式,实现了一种动态的特征提取算法和层次指纹的相似度计算算法.实验证明,该方法对全文重复和部分重复的网页都能进行准确的检测.