基于网页标签位置的文本格式化清洗方法

摘要

本发明公开了一种基于网页标签位置的文本格式化清洗方法，包括以下步骤：S1：遍历整个网页的所有标签，并记录各个标签名、标签的位置、文本内容、文档编号到原始表；S2：若网页中含有表格数据，将网页中的表格数据进行按行和列动态遍历，提取关键信息得到替换表；S3：将原始表和替换表通过文档编号匹配，对原始表里表位置与替换表相关的数据信息进行删除或更新操作，将清洗后的数据输出到清洗表；S4：若网页中没有表格数据，将网页里DIV所对应的文本提取出来，提取文档编号、文本内容到数据框后持久化到原始表，通过分组聚合的方法，将同类的文档合并插入清洗表中，完成网页文本的清洗。本发明能够提高网页文本解析的准确度。