基于统计规则的族群网页正文提取方法及系统

摘要

本发明提供了一种基于统计规则的族群网页正文提取方法及系统，以网页族群的形式获取一组待处理网页，得到网页族群列表；遍历网页族群列表，提取每个网页的原始HTML代码，形成HTML代码列表；遍历HTML代码列表，提取每个网页中的所有文本内容，根据HTML结构，将全部网页的各长文本转化为短文本字符串列表，并保留文本顺序；其中，各短文本字符串列表均属于整个网页族群的文本列表集合；遍历文本列表集合并对每个短文本字符串列表定位起始位置和结束位置；选取从起始位置到结束位置的文本，输出正文文本列表；本发明无需人工参与，无需特殊规则，能够提取不同形式的网页文本，极大的提高了提取精度和提取效率。