基于特征串的大规模中文网页快速去重算法研究

摘要

网页检索结果中,用户经常会得到内容相同的冗余页面,其中大量是由于网站之间的转载造成.它们不但浪费了存储资源,并给用户的检索带来诸多不便.本文依据冗余网页的特点引入模糊匹配的思想,利用网页文本的内容、结构信息,提出了基于特征串的中文网页的快速去重算法,同时对算法进行了优化处理.实验结果表明该算法是有效的,大规模开放测试的重复网页召回率达97.3%,去重正确率达99.5%.