含有丰富结构化数据的Web页面分类技术的研究

摘要

Web页面的主题识别和分类是垂直搜索引擎的核心,是结构化数据抽取的前提,具有重要的学术价值,工程应用也非常广泛以往的工作多以定向爬虫技术来解决垂直搜索引擎数据采集的专业化问题,而Web页面的主题识别和分类也多采用传统的文本分类方法针对含有丰富结构化数据的Web页面,提出了复用结构化数据抽取模板来进行Web页面主题识别的分类框架该框架首先解析Web页面的组织结构,通过属性探测算法,获得Web页面所包含的主题关键词进一步通过计算主题关键词与结构化抽取模板的相似性来判定Web页面的主题并按照领域进行分类该方法避免了主题爬虫对URL格式严重依赖的问题,分类准确率也高于传统的文本分类方法通过实验证明了框架在含有丰富结构化数据的Web页面分类方面的有效性.