面向聚焦的Web网页获取和信息抽取方法

摘要

本发明涉及面向聚焦的Web网页获取和信息抽取方法，其包括以下步骤：1.创建一个基于URL结构过滤的非监督的聚焦爬虫。2.在新闻领域可以采取基于视觉单位的Web网页信息抽取技术，根据视觉特征和文本特征自顶向下寻找DOM树的最小视觉单位，获得多个视觉单位后，通过分析目标信息区别于非目标信息的特征检测找出目标信息所在的视觉块。3.利用基于增量聚类的非模型Web网页信息抽取方法以获得较好的适应性。本发明基于URL结构过滤的非监督聚焦爬虫相较于基于内容的聚焦爬虫，可以达到更高的收获率和执行效率，该方法克服了传统网页信息抽取中针对不同的网站制作不同的包装器的缺点，提高了抽取方法的适应能力。