基于URL和网页类型的网页信息采集研究

摘要

Internet上的海量数据对人们有效、快速地使用这些资源和信息提出了挑战.网页信息采集更新的方法在很大程度上决定了网页更新的效果.为提高网页信息更新的效果,本文从抓取入口页面开始,采集网页后进行去重操作,并将网页分块提取出超链接URL信息.在此基础上,应用网页更新策略提高网页更新效果.最后,应用基于URL和网页类型的采集更新检测方法来实现网页信息采集.