面向Web新闻与博客的内容提取方法

摘要

Web深刻地改变了社会生活,新闻和博客网站作为其中代表性的消息来源,为人们提供了方便的信息获取方式。在Web分析的实际业务中,广告、文章推荐等无关信息的存在,给新闻和博客网页中主要内容的提取带来了负面影响。本文提出了一种区别于抽取模板的新闻和博客内容提取方法CEVC,通过定义有效字符,对网页内容文件的DOM树进行递归计算,确定最具代表性的子节点作为主要内容节点。实验选取了中文与英文网页作为数据集,定义了提取新闻和博客内容的性能指标。对比实验的结果表明,CEVC在Web内容提取方面的性能优于现有方法。