基于模板和分类器协同工作的网页去噪方法及系统

摘要

本发明公开了一种基于模板和分类器协同工作的网页去噪方法及系统，其中，所述去噪方法包括：解析获取到的原始的HTML文档，删除无关标签节点，生成符合要求的简化DOM树；计算目标网页的DOM树中的每个块级节点特征，得到原始节点集合；将原始节点集合加入对应网站的缓存节点集合，当缓存节点集合中元素个数达到预设阈值时，触发模板生成算法，更新对应网站的模板节点集合；利用目标网页所属网站的模板节点集合对目标网页的原始节点集合进行过滤处理得到已过滤目标网页节点集合；用训练好的分类器对已过滤目标网页节点集合进行分类，保留分类结果为主体内容的节点，从中提取主体内容文本。本发明人工干预少，效率高，适用于各种主题型网页去噪。