基于网页页面布局提取网页核心内容的系统、方法

摘要

本发明提供一种提取网页的核心内容的网页核心内容提取系统和方法，该系统接收HTML文档(网页)并从其中提取核心内容，所述系统包括：文本块分析器，用于以HTML标记作为定界符将输入的HTML文档中的每个有用基本结构中的文本片断分段为一个或多个独立的文本块，并将出现在每个有用基本结构中的所有文本块依次连接起来作为输出，其中所述有用基本结构为包含网页核心内容的基本结构；以及文本块检查器，用于从文本块分析器依次输出的所述文本块中去除不含网页的核心内容的文本块并输出余下的文本块作为网页核心内容。通过针对每个文本块确定是否含有广告和导航信息，从而能够精确地确定网页中包括的核心内容。本发明还提高了处理效率。